一个典型的Attention思想包括三部分：Qquery、Kkey、Vvalue。
- Q是query，是输入的信息；key和value成组出现，通常是原始文本等已有的信息；
- 通过计算Q与K之间的相关性a，得出不同的K对输出的重要程度；
- 再与对应的v进行相乘求和，就得到了Q的输出；
-
step1，计算Q对每个K的相关性相似性，即函数F ( Q , K ) F(Q,K)F(Q,K)；
这里计算相关性的方式有很多种，常见方法比如有： -
a.求两者的【向量点击】
-
b.求两者的向量【余弦相似度】
-
c.引入一个额外的神经网络来求值
-
step2，对step1的注意力的分进行归一化；
softmax的好处首先可以将原始计算分值整理成所有元素权重之和为1的概率分布；
其次是可以通过softmax的内在机制更加突出重要元素的权重；ai 即为value_i对应的权重系数;
-
step3，根据权重系数对V进行加权求和，即可求出针对Query的Attention数值。
-
参考：关于Attention的超详细讲解_attention详解-CSDN博客
