1.Transformer为何使用多头注意力机制？（为什么不使用一个头）

• 捕捉多种依赖关系：

  多头注意力机制允许模型同时关注输入数据的不同部分和特征。每个“头”都能够学习输入序列的不同表示子空间，从而捕捉到不同类型的依赖关系。例如，一个头可能专注于语法特征，而另一个头可能更关注语义信息。这种并行处理的方式使得Transformer能够更全面地理解输入数据。

• 提高模型容量和表达能力：

  通过多个头的并行学习，模型能够学习到更加复杂的表示。每个头都在学习输入数据的不同方面，从而增加了整个模型的容量和表达能力。这使得Transformer能够处理更加复杂和多样化的任务。

• 更好的泛化能力：

  由于多头注意力机制能够从多个角度分析输入数据，因此模型的泛化能力也得到了提升。这使得Transformer在未见过的数据上也能够表现出更好的性能。

• 避免信息损失：

  在单头注意力机制中，所有的注意力权重都是通过一个平均化的过程计算得到的，这可能会导致不同位置之间的独特关系和复杂模式被忽略。而多头注意力机制通过并行处理多个表示子空间，避免了这种信息损失，使得每个头都能够关注到不同的信息。

• 并行计算能力：

  多头注意力机制的计算可以并行进行，这提高了模型的训练和推理效率。每个头都可以独立地进行计算，然后将结果拼接起来形成最终的输出。这种并行计算能力使得Transformer在处理大规模数据集时更加高效。

2.Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？

在Transformer中，查询（Query, Q）、键（Key, K）和值（Value, V）通过不同的权重矩阵生成，是为了在注意力计算时能够区分不同的角色和功能。Q用于查询其他位置的信息，K用于被查询以提供信息，V是实际提供的信息内容。如果Q和K使用相同的权重矩阵，则意味着查询和键的表示会完全相同，这会导致模型在自注意力计算时无法区分哪些信息是用于查询的，哪些信息是被查询的，从而降低了模型的表示能力。

3.Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？

Transformer选择点乘作为注意力计算的方式，主要是因为点乘的计算复杂度较低，且能够较好地捕捉输入序列中不同位置之间的相似性或相关性。相比加法注意力，点乘注意力在计算时只需要进行简单的矩阵乘法操作，而加法注意力则需要额外的参数和计算步骤。在效果上，点乘注意力通常能够更快地收敛，并且在某些任务上表现出更好的性能。

4.为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解

在进行softmax之前对attention进行scaled是为了防止当维度d_k较大时，点积的结果会很大，导致softmax函数的梯度变得很小，从而发生梯度消失的问题。通过除以d_k的平方根进行缩放，可以使得softmax函数的输入值保持在一个相对稳定的范围内，从而避免梯度消失的问题。具体的公式推导可以通过分析softmax函数的梯度和点积的期望值来进行。

5.在计算attention score的时候如何对padding做mask操作？

在计算attention score时，对于输入序列中的padding部分，可以通过在attention score矩阵中对应的位置加上一个非常大的负数（如-inf），使得这些位置的softmax输出接近于0，从而实现对padding的mask操作。这样，在计算加权和时，padding部分的信息就不会被考虑在内。

6.为什么在进行多头注意力的时候需要对每个head进行降维？

在进行多头注意力时，对每个head进行降维是为了减少计算复杂度和参数数量，同时增加模型的非线性。通过将输入序列映射到多个低维子空间中，每个head可以专注于捕捉输入序列中不同方面的信息。这样不仅可以提高模型的表示能力，还可以避免过拟合的问题。

7.大概讲一下Transformer的Encoder模块？

Transformer的Encoder模块由多个相同的层堆叠而成，每个层包括一个多头自注意力机制和一个前馈神经网络。在自注意力机制中，输入序列的每个位置都可以关注到序列中的其他位置，从而捕捉输入序列中的依赖关系。前馈神经网络则用于进一步处理自注意力机制的输出，增加模型的非线性。此外，每个层还包含残差连接和层归一化，以帮助模型更好地训练。

8.为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？

在某些实现中，获取输入词向量后可能会对其进行缩放操作，如乘以embedding size的开方。这种操作的目的是为了平衡点积注意力中的输入规模。由于点积注意力的输入是词向量的点积，其规模会随着embedding size的增加而增加。通过乘以embedding size的开方进行缩放，可以使得点积的期望值保持在一个相对稳定的范围内，从而避免梯度消失或爆炸的问题。然而，并非所有Transformer实现都会进行这种缩放操作。

9.简单介绍一下Transformer的位置编码？有什么意义和优缺点？

Transformer的位置编码是一种用于向模型提供位置信息的机制。由于Transformer模型本身不依赖于序列的先后顺序（即不具有时间或空间上的局部性），因此需要额外的位置编码来告知模型输入序列中每个元素的位置。常用的位置编码包括正弦和余弦函数生成的固定位置编码和可学习的位置编码。位置编码的意义在于使得模型能够理解和利用输入序列中的位置信息。其优点是可以提高模型的性能，特别是在处理自然语言等序列数据时；缺点是可学习的位置编码可能增加模型的参数数量和计算复杂度。

10.你还了解哪些关于位置编码的技术，各自的优缺点是什么？

除了上述提到的正弦和余弦函数生成的固定位置编码和可学习的位置编码外，还有其他一些位置编码技术。例如，相对位置编码（Relative Position Encoding）通过考虑元素之间的相对位置关系来编码位置信息，而不是绝对位置。这种编码方式可以更好地捕捉序列中的相对依赖关系，但计算复杂度可能较高。

另一种位置编码技术是条件位置编码（Conditional Position Encoding），它允许模型根据输入序列的上下文动态地生成位置编码。这种编码方式可以更加灵活地处理不同长度的输入序列，并可能提高模型的泛化能力。然而，由于需要额外的计算来生成位置编码，因此可能会增加模型的计算复杂度。

11.简单讲一下Transformer中的残差结构以及意义。

Transformer中的残差结构（Residual Connection）是一种将输入直接加到输出上的连接方式。这种结构有助于缓解深度神经网络在训练过程中可能出现的梯度消失或梯度爆炸问题。通过引入残差结构，模型可以直接传递输入信息到深层网络，使得深层网络能够更容易地学习到输入和输出之间的映射关系。同时，残差结构也有助于提高模型的训练速度和稳定性。

12.为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？

Transformer块使用LayerNorm而不是BatchNorm的主要原因是LayerNorm更加适合处理变长的序列数据。在Transformer中，由于输入序列的长度是可变的，因此每个序列的批量统计信息（如均值和方差）也是不同的。而BatchNorm是基于整个批量数据来计算统计信息的，这可能导致在处理变长序列时性能下降。相比之下，LayerNorm是在每个样本的维度上进行归一化的，因此不受序列长度变化的影响。

在Transformer中，LayerNorm通常被放置在多头注意力机制和前馈神经网络的输出之后。通过对这些层的输出进行归一化，可以使得后续层的输入保持在一个相对稳定的范围内，有助于模型的训练。

13.简答讲一下BatchNorm技术，以及它的优缺点。

BatchNorm（批量归一化）是一种用于深度神经网络中的技术，旨在通过归一化每个小批量数据的输入来提高模型的训练速度和稳定性。在BatchNorm中，每个小批量数据的输入会被归一化为具有零均值和单位方差的分布。然后，这些归一化的输入会被缩放和平移以恢复其原始分布的一部分信息（这通过可学习的参数来实现）。

BatchNorm的优点包括：

• 加速训练过程：通过归一化输入，可以使得模型更容易收敛。

• 提高模型稳定性：减少内部协变量偏移（Internal Covariate Shift），使得模型更加稳定。

• 提高泛化能力：通过引入一定的正则化效果，有助于防止过拟合。

然而，BatchNorm也存在一些缺点：

• 对小批量数据敏感：当批量大小较小时，BatchNorm的统计信息可能不准确，导致性能下降。

• 依赖于整个批量数据：在处理变长序列或在线学习任务时可能不适用。

14.简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？

Transformer中的前馈神经网络（Feed-Forward Neural Network）是一个简单的两层全连接网络，用于进一步处理多头注意力机制的输出。这个网络首先通过一个线性变换将输入映射到一个更高维的空间中，然后通过一个非线性激活函数（如ReLU）增加网络的非线性能力，最后再通过另一个线性变换将输出映射回原始维度。

在前馈神经网络中，常用的激活函数包括ReLU（Rectified Linear Unit）及其变种（如Leaky ReLU、PReLU等）。ReLU激活函数的优点是计算简单且梯度易于求解（在激活区域内梯度为常数），有助于加速训练过程。然而，ReLU也存在一些缺点，如可能导致神经元死亡（即梯度为0）的问题。为了缓解这个问题，可以使用Leaky ReLU等变种激活函数来允许小的负梯度通过。

15.Encoder端和Decoder端是如何进行交互的？（在这里可以问一下关于seq2seq的attention知识）

在Transformer模型中，Encoder端和Decoder端通过注意力机制进行交互。具体来说，Decoder端在生成每个输出时，都会使用Encoder端的输出作为“记忆”来指导生成过程。这种交互通常通过两种注意力机制来实现：自注意力机制（Self-Attention）和编码器-解码器注意力机制（Encoder-Decoder Attention）。

自注意力机制允许Decoder端在生成当前输出时关注到已经生成的输出序列中的其他位置。这有助于模型捕捉输出序列中的依赖关系。而编码器-解码器注意力机制则允许Decoder端在生成当前输出时关注到Encoder端的整个输出序列。这有助于模型将Encoder端捕捉到的输入序列中的信息整合到输出序列中。

在seq2seq任务中，这种交互方式使得模型能够理解和生成复杂的自然语言序列。通过结合Encoder端和Decoder端的注意力机制，模型可以捕捉输入和输出序列之间的复杂关系，并生成高质量的输出序列。

16.Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？（为什么需要decoder自注意力需要进行 sequence mask)

Decoder阶段的多头自注意力与Encoder阶段的多头自注意力在结构上是相似的，但它们在处理输入数据时存在关键的区别。特别是在Decoder阶段，自注意力机制需要进行sequence mask（序列掩码）操作，这是因为在生成序列的过程中，模型只能看到当前位置之前的信息，而不能看到未来的信息。

具体来说，Decoder阶段的多头自注意力机制在计算每个位置的表示时，会考虑整个Decoder的输入序列。然而，由于模型在生成第t个位置的输出时，不应该看到第t个位置之后的信息（即未来的信息），因此需要通过sequence mask来掩蔽掉这些未来的信息。sequence mask通常是一个与输入序列形状相同的矩阵，其中对应未来位置的元素被设置为负无穷（或其他使得softmax输出接近0的值），从而在计算注意力权重时忽略这些位置。

相比之下，Encoder阶段的多头自注意力机制则不需要进行sequence mask操作，因为Encoder的任务是处理整个输入序列，并将其编码为一系列的向量表示，这些向量表示将被用于Decoder阶段。在Encoder阶段，模型可以自由地关注到输入序列中的任何位置，因为它不需要预测未来的信息。

17.Transformer的并行化提现在哪个地方？Decoder端可以做并行化吗？

Transformer模型的并行化主要体现在Encoder端。由于Encoder端处理的是整个输入序列，并且各个位置的计算是独立的（除了自注意力机制中的矩阵乘法操作外），因此可以很容易地进行并行化。具体来说，可以使用并行计算库（如TensorFlow或PyTorch）来同时处理输入序列中的多个位置，从而加速计算过程。

然而，Decoder端的并行化相对复杂一些。由于Decoder在生成每个输出时需要依赖于之前已经生成的输出，因此无法像Encoder那样直接进行完全的并行化。不过，在Decoder端仍然可以通过一些技术手段来实现一定程度的并行化。例如，可以使用beam search等算法来同时考虑多个候选输出，并在每个时间步上并行地计算这些候选输出的注意力权重和输出表示。虽然这种方法不能完全消除Decoder端的串行性，但它可以显著提高生成速度，特别是在处理长序列时。

18.简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？

WordPiece Model和Byte Pair Encoding（BPE）是两种常用的文本分词和编码技术，它们都被广泛应用于自然语言处理领域。

WordPiece Model是一种基于贪心算法的分词技术，它首先定义了一个足够大的词汇表，然后尝试将文本分割成词汇表中存在的最短单词序列。如果文本中存在不在词汇表中的单词，WordPiece会尝试将该单词分解为更小的单元（如子词或字符），并将这些单元添加到词汇表中。这个过程会反复进行，直到文本被完全分词为止。WordPiece Model的优点是能够处理未登录词（OOV）问题，并且生成的词表大小相对可控。它已经被应用于多种自然语言处理任务中，如机器翻译、文本分类等。

Byte Pair Encoding（BPE）则是一种基于字符的编码技术，它通过合并频繁出现的字符对来构建更长的单元（如子词）。BPE从字符级别的词汇表开始，然后迭代地合并最频繁的字符对，直到达到预设的词汇表大小或迭代次数为止。与WordPiece类似，BPE也能够处理未登录词问题，并且生成的词汇表通常更加紧凑。BPE已经被广泛应用于多种自然语言处理任务中，包括语言建模、文本生成等。

19.Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？

在训练Transformer模型时，学习率的设定通常是一个重要的步骤。常见的做法是使用某种形式的学习率调度器（Learning Rate Scheduler），如Warmup-and-Decay、Cosine Annealing等。这些调度器可以在训练过程中动态地调整学习率的大小，以适应模型的不同训练阶段。例如，在训练初期使用较小的学习率来稳定模型参数；在训练中期逐渐增加学习率以加速收敛；在训练后期逐渐减小学习率以避免过拟合。

Dropout是一种常用的正则化技术，用于防止神经网络过拟合。在Transformer中，Dropout通常被应用于多头注意力机制和前馈神经网络的输出上。通过在训练过程中随机丢弃一部分神经元的输出（即将它们的输出置为0），Dropout可以迫使模型学习到更加鲁棒的特征表示。在测试时，通常不会使用Dropout（即所有神经元的输出都会被保留），但为了保持训练和测试时的一致性，需要按照Dropout比例来缩放神经元的输出。

20.引申一个关于BERT问题，BERT的mask为何不学习Transformer在attention处进行屏蔽score的技巧？

BERT（Bidirectional Encoder Representations from Transformers）模型在训练时采用了Masked Language Model（MLM）任务来预训练语言表示。在这个任务中，模型会随机地遮盖掉输入序列中的一些单词，并尝试根据上下文来预测这些被遮盖掉的单词。为了实现这一点，BERT使用了一个简单的[MASK]标记来替换被遮盖掉的单词，并在注意力机制中将这些[MASK]标记的位置视为特殊的“未知”标记来处理。

然而，BERT并没有像Transformer在Decoder端那样在attention处进行屏蔽score的技巧。这主要是因为BERT是一个双向编码器模型，它需要在编码整个输入序列时同时考虑上下文信息。如果在attention处进行屏蔽score的操作，就会破坏输入序列的双向性，并限制模型对上下文信息的利用能力。此外，BERT的MLM任务本身已经通过随机遮盖单词的方式引入了足够的噪声和挑战性，使得模型能够学习到有效的语言表示而不需要额外的屏蔽技巧。因此，BERT在训练时采用了简单的[MASK]标记替换和注意力机制来处理被遮盖掉的单词，并取得了很好的效果。