1.预训练

相似的任务A、B，任务A已经用大数据完成了训练，得到模型A。

我们利用-特征提取模型的-“浅层参数通用”的特性，使用模型A的浅层参数，其他参数再通过任务B去训练（微调）。

2.统计语言模型

通过条件概率，解决“完型填空”问题和“预测句子出现概率”问题。

3.神经网络语言模型 -- 为了预测next

就是通过mlp，利用已有的词库将单词编码为onehot * Q矩阵（可学习），拟合一个预测下一个单词的模型。最后输出的softmax维度是词库的维度大小。

softmax(w2(tanh(（w1x+b1）))+b2)

x是输入的词编码

缺点：onehot的维度==词库的大小，容易出现维度爆炸。我们希望去训练一个Q去控制词embedding大小。

得出：onehot * Q = V，V向量就能表示一个单词的词向量。且能调整大小、能计算词的余弦相似度。

但是：一个Q矩阵，所有的词都在用？

4.Word2Vec类模型 -- 为了得到词vec

· CBOW

给出一个词的上下文，预测这个词。--完形填空

· Skip-gram

给出词预测上下文。--没啥用

w2v是一种预训练模型，因为这个模型可以预训练好一个Q矩阵，供别的下游任务直接使用，无需重新训练。

而onehot不是预训练，是一一对应的表查询。

但是：词向量不能进行多义词表示。

5.ELMo--解决上述问题

注意双向双层

输入：很普通的w2v词向量E；

输出：融合上下文信息的新词向量T。对于一个同一词，T的编码也会不一样了，而且相关性应该是负的。

但是：lstm不能并行，长期依赖。

6.attention

理解：“Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query。 然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等）。 然后根据Query和Key的相似度得到匹配的内容（Value)。”

理解：Q，K，V是三个矩阵。 是 X 输入与 Wq，Wk，Wv 点积的结果。 最开始Wq，Wk，Wv 是随机生成的， 后面通过训练 Wq，Wk，Wv 会不断调整，通过loss 函数进行。 Wq，Wk，Wv 就是需要训练的参数。

理解：每个token都会发出一个Q去询问其他token，点乘他们的K，得到相对的重要性，为了消除较大的K对softmax的影响除以根号dk，再做softmax得到概率后，点乘V，得到具体需要注意多少

  ！！从分布的角度解释。

7.self-attention

经典

8.67的区别

· 注意力机制没有规定QKV的来源

· 自注意力规定QKV必须是源于X，只是乘了不同的矩阵，在空间上做了不同的伸缩旋转。

9.self和rnn lstm的比较

rnn：

，x0的信息传的远了就消失了。

lstm：

，通过门，选择性记忆/增强前文的信息。

二者都不能并行，存在长序列依赖问题。

10.mask attention

生成模型是一个单词一个单词的生成，所以对已生成的单词想要做attention的话，attention map会像是下阶梯形矩阵。

11.多头自注意

就是将X分成8块，每个头有自己的QKV，同样得到一个Z，拼接后再经过一个线性变换得到原来大小的Z。

12.位置编码

· 由于attention可以并行计算，导致它不能像rnn一样完全顺序进行计算。

· 而且如果没有位置编码，即使话的顺序是乱的，也不影响attention的计算。所以应该有位置编码来表示语序。加到原来的词向量中。

计算方式：

 对于每个pos的编码，偶数位置用sin奇数位置用cos。2i的目的仅是为了转换为对应的三角函数。

再根据三角函数和差化积：

得到：PE = sin(将posi分为两数之和) = 这两个数的PE的线性组合。

理解为：较大posi的编码中蕴含了较小posi的PE信息。即，相当于递归的意思，后面的pos必须依赖之前的值。

13.transformer框架

seq2seq模型

encode：将输入变成词向量

decode：输入词向量，生成下步预测

· Encoder层

N层encoder，代表输入经过了N个encoder逐步增强词向量表示。

每层中，初始化X的embedding--position encode--self att--Z score--laynorm(X+Z)--Z1--FFN做非线性变换--laynorm(Z1+Z2)

· Decoder层

将encode的输出作为KV，那decode层的输入是啥？

训练阶段的输入是生成的target目标值，然后用它经过mask self att求Q，再和之前的KV做交叉att。

预测阶段的输入是之前生成过的所有值，根据这些内容去预测下一个可能的词。

14.为什么decoder做mask？

为了解决训练阶段和测试阶段的输入不匹配。即：训练阶段decoder输入了完整的target序列， 而测试阶段只有已生成的序列。所以，使用了mask后，可以让训练阶段也看不到序列后文。

15.为什么decoder产生Q，encoder产生KV？

一句话来讲：输出的内容是要参考你输入序列的上下文。

16.关于最初始化的词向量，无所谓是onehot还是别的，最后都会得到更新。但是越高效的初始化能对应更少的更新次数。模型会把一个词向量对应到一个空间位置。