Untitled

Multi-head Self-attention¶

Self-attention 有一个进阶的版本，叫做 Multi-head Self-attention， 至于需要用多少的 head，这个又是另外一个 hyperparameter，也是你需要调的。

那为什么我们会需要比较多的 head 呢？我们在做这个 Self-attention 的时候，我们就是用 q 去找相关的 k，但是相关这件事情有很多种不同的形式，有很多种不同的定义，所以也许我们不能只有一个 q，我们应该要有多个 q，不同的 q 负责不同种类的相关性。

所以假设你要做 Multi-head Self-attention 的话，你会怎么操作呢?

• 先把 a 乘上一个矩阵得到 q
• 再把 q 乘上另外两个矩阵，分别得到 q^1 跟 q^2，这边是用两个上标，i 代表的是位置，然后这个 1 跟 2 代表是，这个位置的第几个 q，所以这边有 q^{i，1} 跟 q^{i，2}，代表说我们有两个 head

我们认为这个问题，里面有两种不同的相关性，是我们需要产生两种不同的 head，来找两种不同的相关性

既然 q 有两个，那 k 也就要有两个，那 v 也就要有两个，从 q 得到 q^1 q^2，从 k 得到 k^1 k^2，从 v 得到 v^1 v^2，那其实就是把 q k v，分别乘上两个矩阵，得到这个不同的 head，就这样子而已，对另外一个位置，也做一样的事情。

只是现在q^1，它在算这个 attention 的分数的时候，它就不要管那个 k^2 了

• 所以 q^{i，1} 就跟 k^{i，1} 算 attention，也就是算这个 dot product，然后得到这个 attention 的分数

• 然后在做 weighted sum 的时候，也不要管 v^2 了，看 v^{i，1} 跟 v^{j，1} 就好，所以你把 attention 的分数乘 v^{i，1}，把 attention 的分数乘 v^{j，1}

• 然后接下来就得到 b^{i，1}

这边只用了其中一个 head，那你会用另外一个 head，也做一模一样的事情

所以 q^2 只对 k^2 做 attention，它们在做 weighted sum 的时候，只对 v^2 做 weighted sum，然后接下来你就得到 b^{i，2}

然后接下来你可能会把 b^{i，1} 跟 b^{i，2}，把它接起来，然后再通过一个 transform

也就是再乘上一个矩阵，然后得到 b^i，然后再送到下一层去，那这个就是 Multi-head attention。