组会 | Attention 中有意思的部分

---

⚠️ 本博客只记录了 Attention 中有意思的部分

1 词向量

为了方便计算机处理，我们需要将每个单词表示为一个向量。比如，单词 “orange” 可能被表示为：

$${\mathrm{Vec}}_{\mathrm{orange}}=[0.12,0.42,-0.57,...,0.64]$$

而单词 “banana” 可能被表示为：

$${\mathrm{Vec}}_{\mathrm{banana}}=[0.14,0.41,-0.59,...,0.69]$$

由于 “orange” 和 “banana” 都是水果，即在语义上相似，因此其向量在向量空间中的距离较近。

2 通过自注意力机制调整词向量

一个单词在不同语境中可能表达不同的意思，比如单词 “apple”：

• 在 “an apple and an orange” 中表示的是一种水果
• 在 “an apple phone” 中表示的是一种手机品牌

如果我们用同一词向量去表示 “apple”，那么就忽略了语义信息。

个人理解：我们通常用 Word2Vec 把单词逐个转换为词向量，而该过程并没有关注上下文语境。不管是作为水果的 “apple”，还是作为手机品牌的 “apple”，都会被表示为同一词向量。

而自注意力机制将会关注上下文语境，试图为当前单词寻找一种更好的编码方式。

假设经过 Word2Vec：

• “orange” 的词向量为 (0, 3)
• “phone” 的词向量为 (4, 0)
• “apple” 的词向量为 (2, 2)

针对 “an apple and an orange”：

• “apple” 和 “orange” 的余弦相似度为 0.71
• “apple” 和 “apple” 的余弦相似度为 1

计算相似度的方法可以是点积，也可以是余弦相似度。

通过自注意力机制调整 “apple” 的词向量：

$$\frac{e^{0.71}}{e^{0.71}+e^1}\ast (0,3)+\frac{e^1}{e^{0.71}+e^1}\ast (2,2)=(1.14,2.43)$$

因此调整后的词向量为 (1.14, 2,43)，它表示的是一种水果。

说明：这里使用的是一种不严谨的自注意力机制，按理来说它应该关注句子中的每一个单词，这里为了计算方便就只关注了橘子。

针对 “an apple phone”：

• “apple” 和 “phone” 的余弦相似度为 0.71
• “apple” 和 “apple” 的余弦相似度为 1

通过自注意力机制调整 “apple” 的词向量：

$$\frac{e^{0.71}}{e^{0.71}+e^1}\ast (4,0)+\frac{e^1}{e^{0.71}+e^1}\ast (2,2)=(2.86,1.14)$$

因此调整后的词向量为 (2.86, 1.14)，它表示的是一种手机品牌。

3 缩放点积注意力

Transformer 使用的注意力如下：

$$\mathrm{Attention}(\mathrm{Q},\mathrm{K},\mathrm{V})=\mathrm{softmax}\left(\frac{\mathrm{Q}{\mathrm{K}}^T}{\sqrt{d_{\mathrm{k}}}}\right)\mathrm{V}$$

加入 $1/\sqrt{d_{\mathrm{k}}}$ 的原因：

1. 如果维度 $d_{\mathrm{k}}$ 较大，那么 $\mathrm{Q}{\mathrm{K}}^T$ 的方差也会变大；
2. 进而导致在 $\mathrm{Q}{\mathrm{K}}^T$ 的每个向量中，元素之间的差值变大；
3. 元素之间的差值较大，可能导致在 $\mathrm{softmax}\left(\mathrm{Q}{\mathrm{K}}^T\right)$ 的每个向量中，只有一个元素接近于 1，而其余元素均接近于 0；
4. 若 $\mathrm{softmax}$ 后只有一个元素为非 0 值，则反向传播中的梯度值就会为 0，导致模型参数无法更新。

4 Transformer 可学习参数

Transformer 中的 Q、K、V 为：

$$\begin{array}{rl}\mathrm{Q}=& \mathrm{X}{\mathrm{W}}^{\mathrm{Q}}\\ \mathrm{K}=& \mathrm{X}{\mathrm{W}}^{\mathrm{K}}\\ \mathrm{V}=& \mathrm{X}{\mathrm{W}}^{\mathrm{V}}\end{array}$$

采用可学习参数，是为了转换查询和键所处的向量空间，从而方便区分查询和键，如下图所示：

俺也不知道具体原因是什么 😇