原文链接

3、DeepSeek-V2

DeepSeek-V2 发布于 2024 年 5 月，为多领域专家（MoE）语言模型，包含总共 2360 亿个参数，其中每个词元激活 210 亿个参数，并支持 12.8 万个词元的上下文长度。DeepSeek-V2 采用包括多头潜在注意力（Multi-Head Latent Attention，MLA）和 DeepSeekMoE 在内的创新架构。MLA 通过将键值（KV）缓存显著压缩为一个潜在向量，保证了高效推理；而 DeepSeekMoE 则通过稀疏计算，能以较低成本训练出强大的模型。与 DeepSeek 670 亿参数模型相比，DeepSeek-V2 的性能显著提升，同时节省了 42.5% 的训练成本，将 KV 缓存减少了 93.3%，并将最大生成吞吐量提高到了 5.76 倍。

DeepSeek - V2 在一个由 8.1 万亿词元组成的高质量、多源语料库上进行预训练，然后进一步进行监督微调（SFT）和强化学习（RL）。即使只有 210 亿激活参数，DeepSeek-V2 及其聊天版本在开源模型中仍能达到顶尖性能。

3.1、架构

DeepSeek-V2 采用 Transformer 架构，其中每个 Transformer 模块由一个注意力模块和一个前馈网络（FFN）组成。在注意力方面，DeepSeek-V2 设计了 MLA，其利用低秩键值联合压缩来消除推理时键值缓存的瓶颈，从而支持高效推理。对于前馈网络，采用 DeepSeekMoE 架构，能够以经济的成本训练强大的模型。

3.1.1、多头潜在注意力：提升推理效率

传统的 Transformer 模型通常采用多头注意力机制（MHA），但在生成过程中，其庞大的键值（KV）缓存会成为限制推理效率的瓶颈。为了减少 KV 缓存，多查询注意力机制（MQA）和分组查询注意力机制（GQA）被提出。它们所需的 KV 缓存规模较小，但其性能却比不上 MHA。

DeepSeek-V2 设计了一种创新的注意力机制，称为 多头潜在注意力（Multi-Head Latent Attention，MLA）。通过低秩键值联合压缩，MLA 实现了比 MHA 更好的性能，同时所需的 KV 缓存量显著减少。

预备知识：标准多头注意力机制

设 $d$ 为嵌入（embedding）维度，$n_h$ 为注意力头（attention heads）的数量，$d_h$ 为每个头（head）的维度，并且 $h_t\in {\mathbb{R}}^d$ 是注意力层中第 $t$ 个词元（token）的注意力输入。标准的 MHA 首先通过三个矩阵 $W_Q$、$W_K$、$W_V\in {\mathbb{R}}^{d_h{n}_h\times d}$ 分别生成 $q_t$、$k_t$、$v_t\in {\mathbb{R}}^{d_h{n}_h}$：

$$\begin{array}{rl}{q}_t& =W^Q{h}_t,\\ k_t& =W^K{h}_t,\\ v_t& =W^V{h}_t\end{array}$$

然后，$q_t$、$k_t$、$v_t$ 将被切分成 $n_h$ 个头，以进行多头注意力计算：

$$\begin{array}{rl}\left[q_{t,1};q_{t,2};\dots ;q_{t,n_h}\right]& =q_t,\\ \left[k_{t,1};k_{t,2};\dots ;k_{t,n_h}\right]& =k_t,\\ \left[v_{t,1};v_{t,2};\dots ;v_{t,n_h}\right]& =v_t,\\ o_{t,i}& =\sum _{j=1}^t{\text{Softmax}}_j\left(\frac{q_{t,i}^T{k}_{j,i}}{\sqrt{d_h}}\right)v_{j,i},\\ u_t& =W^O\left[o_{t,1};o_{t,2};\dots ;o_{t,n_h}\right]\end{array}$$

其中 $q_{t,i}$、$k_{t,i}$、$v_{t,i}\in {\mathbb{R}}^{d_h}$ 分别表示第 $i$ 个注意力头的 query、key 和 value；$W_O\in {\mathbb{R}}^{d\times d_h{n}_h}$ 表示输出投影矩阵。在推理过程中，所有的 query 和 value 都需要被缓存以加速推理，所以对于每个词元（token），MHA 需要缓存 $2n_h{d}_{h}l$ 个元素（$l$ 为注意力层数）。在模型部署中，这种庞大的键值缓存是一个很大的瓶颈，它限制了最大批量大小和序列长度。

低秩键值联合压缩

多头潜在注意力（MLA）的核心是对键值进行低秩联合压缩，以减少键值（KV）缓存：

$$\begin{array}{rl}{c}_t^{KV}& =W^{DKV}{h}_t,\\ k_t^C& =W^{UK}{c}_t^{KV},\\ v_t^C& =W^{UV}{c}_t^{KV},\end{array}$$

其中，$c_t^{KV}\in {\mathbb{R}}^{d_c}$ 是 key 和 value 的压缩潜在向量；$d_c(\ll d_h{n}_h)$ 表示 KV 压缩维度；$W^{DKV}\in {\mathbb{R}}^{d_c\times d}$ 是下投影矩阵；$W^{UK},W^{UV}\in {\mathbb{R}}^{d_h{n}_h\times d_c}$ 分别是 key 和 value 的上投影矩阵。在推理过程中，MLA 只需要缓存 $c_t^{KV}$，因此其 KV 缓存只有 $d_{c}l$ 个元素，其中 $l$ 表示层数。

此外，在推理过程中，由于 $W^{UK}$ 可以合并到 $W^Q$ 中，$W^{UV}$ 可以合并到 $W^O$ 中，即甚至无需为注意力计算出键值。

而且，为了在训练过程中减少激活（activation）内存，MLA 对 query 进行低秩压缩，即使不能减少 KV 缓存：

$$\begin{array}{rl}{c}_t^Q& =W^{DQ}{h}_t,\\ q_t^Q& =W^{UQ}{c}_t^Q\end{array}$$

其中，$c_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$ 是 query 的压缩潜在向量；$d_c^{\prime }(\ll d_h{n}_h)$ 表示 query 压缩维度；$W^{DQ}\in {\mathbb{R}}^{d_c^{\prime }\times d}$ 和 $W^{UQ}\in {\mathbb{R}}^{d_h{n}_h\times d_c^{\prime }}$ 分别是 query 的下投影矩阵和上投影矩阵。

解耦旋转位置嵌入

DeepSeek-V2 中使用旋转位置嵌入（RoPE），然而，RoPE 与低秩键值（KV）压缩不兼容。具体而言，RoPE 对 KV 都具有位置敏感性。如果对 key $k_t^C$ 应用 RoPE，方程 $k_t^C=W^{UK}{c}_t^{KV}$ 中的 $W^{UK}$ 将与位置敏感的 RoPE 矩阵耦合。这样一来，在推理过程中，$W^{UK}$ 就无法再被吸收到 $W^Q$ 中，因为与当前生成的词元相关的 RoPE 矩阵会位于 $W^Q$ 和 $W^{UK}$ 之间，而矩阵乘法不满足交换律。这样所造成的结果是，在推理过程中必须重新计算所有前缀词元的 key，这将显著降低推理效率。

如何理解：RoPE 与低秩键值（KV）压缩不兼容？

1、第 $t$ 个词元的 query 向量与第 $j$ 个词元的 key 向量之间的计算如下：

$$\begin{array}{rl}{q}_{t,i}^T{k}_{j,i}& =(W_i^{UQ}{c}_t^Q{)}^T(W_i^{UK}{c}_j^{KV})\\ & =(c_t^Q{)}^T(W_i^{UQ}{)}^T{W}_i^{UK}{c}_j^{KV}\end{array}$$

其中，$W_i^{UQ}$ 是用于生成第 $i$ 个注意力头 query 的矩阵，$c_t^Q$ 是与第 $t$ 个词元的 query 的压缩潜在向量；$W_i^{UK}$ 是用于生成第 $i$ 个注意力头 key 的矩阵，$c_j^{KV}$ 是与第 $j$ 个词元的 value 的压缩潜在向量。

由于矩阵乘法满足结合律，可以先计算 $(W_i^{UQ}{)}^T{W}_i^{UK}$ 作为 query 的投影矩阵，如此只需缓存 $c_j^{KV}$，而非 $(W_i^{UK}{c}_j^{KV})$，从而在推理的时候压缩 KV 缓存。

2、加入 RoPE 后，会在 $(W_i^{UQ}{)}^T{W}_i^{UK}$ 之间增加融合相对位置的变量 ${\mathcal{R}}_{t-j}$：

$$\begin{array}{rl}{q}_{t,i}^T{k}_{j,i}& =({\mathcal{R}}_t{W}_i^{UQ}{c}_t^Q{)}^T{\mathcal{R}}_j(W_i^{UK}{c}_j^{KV})\\ & =(c_t^Q{)}^T(W_i^{UQ}{)}^T{\mathcal{R}}_t^T{\mathcal{R}}_j{W}_i^{UK}{c}_j^{KV}\\ & =(c_t^Q{)}^T(W_i^{UQ}{)}^T{\mathcal{R}}_{t-j}{W}_i^{UK}{c}_j^{KV}\end{array}$$

由于 $(W_i^{UQ}{)}^T{\mathcal{R}}_{t-j}{W}_i^{UK}$ 随相对位置变化，无法合并为一个固定的投影矩阵，因此不能提前计算以压缩 KV 缓存。

相关文章解读：

1. 缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA

2. deepseek技术解读(1)-彻底理解MLA（Multi-Head Latent Attention）

作为一种解决方案，DeepSeek-V2 提出解耦 RoPE 策略，即使用额外的多头查询 $q_{t,i}^R\in {\mathbb{R}}^{d_h^R}$ 和一个共享 key $k_t^R\in {\mathbb{R}}^{d_h^R}$ 来承载 RoPE，其中 $d_h^R$ 表示解耦后的 query 和 key 的每头维度。采用解耦 RoPE 策略后，MLA 进行以下计算：

$$\begin{array}{rl}[q_{t,1}^R;q_{t,2}^R;\cdots ;q_{t,n_h}^R]=q_t^R& =\text{RoPE}(W^{QR}{c}_t^Q),\\ k_t^R& =\text{RoPE}(W^{KR}{h}_t),\\ q_{t,i}& =[q_{t,i}^C;q_{t,i}^R],\\ k_{t,i}& =[k_{t,i}^C;k_t^R],\\ o_{t,i}& =\sum _{j=1}^t{\text{Softmax}}_j\left(\frac{q_{t,i}^T{k}_{j,i}}{\sqrt{d_h+d_h^R}}\right)v_{j,i}^C,\\ u_t& =W_O[o_{t,1};o_{t,2};\cdots ;o_{t,n_h}]\end{array}$$

其中，$W_Q^R\in {\mathbb{R}}^{d_h^R{n}_h\times d_c^{\prime }}$ 和 $W_K^R\in {\mathbb{R}}^{d_h^R\times d}$ 分别是用于生成解耦 query 和 key 的矩阵；$\text{RoPE}(\cdot )$ 表示应用 RoPE 矩阵的操作；$[\cdot ;\cdot ]$ 表示拼接操作。在推理过程中，解耦后的 key 也应该被缓存。因此，DeepSeek-V2总共需要一个包含 $(d_c+d_h^R)l$ 个元素的 KV 缓存。

解耦 RoPE

引入多头查询 $q_{t,i}^R\in {\mathbb{R}}^{d_h^R}$ 和共享 key $k_t^R\in {\mathbb{R}}^{d_h^R}$ 后，第 $t$ 个词元的 query 向量与第 $j$ 个词元的 key 向量之间的计算如下：

$$\begin{array}{rl}{q}_{t,i}^T{k}_{j,i}& =[q_{t,i}^C;q_{t,i}^R{]}^T[k_{j,i}^C;k_t^R]\\ & =q_{t,i}^C{k}_{j,i}^C+q_{t,i}^R{k}_t^R\end{array}$$

其中，由于矩阵乘法的结合律，$q_{t,i}^C{k}_{j,i}^C$ 中，$W^{UK}$ 可被 $W^{UQ}$ 吸收（同理，$W^{UV}$ 可被 $W^O$ 吸收），只需缓存 $c_t^{KV}$。$q_{t,i}^R{k}_t^R$ 可按 MQA 方式计算，只需缓存共享的 $k_t^R$。最终，避免了在推理过程中重新计算 $k_t^C$ 和 $v_t^C$ 带来的计算开销。

Key-Value 缓存比较

下表中展示了不同注意力机制下每个词元的键值（KV）缓存对比情况。多层注意力（MLA）仅需少量的 KV 缓存，与仅有 2.25 组的 GQA 相当，但 MLA 的性能比 MHA 更强。

其中，$n_h$ 表示注意力头的数量，$d_h$ 表示每个注意力头的维度，$l$ 表示层数，$n_g$ 表示 GQA 中的组数，$d_c$ 和 $d_h^R$ 分别表示 MLA 中的 KV 压缩维度以及解耦 query 和 key 的每个头的维度。KV 缓存量通过元素数量衡量，不考虑存储精度。对于 DeepSeek-V2，$d_c$ 设置为 $4d_h$，$d_h^R$ 设置为 $\frac{d_h}{2}$。因此，其 KV 缓存量与仅分为 2.25 组的 GQA 相当，但其性能比 MHA 更强。

3.1.2、DeepSeekMoE

3.1.2.1、基本架构

对于前馈神经网络（FFNs），DeepSeek-V2 采用 DeepSeekMoE 架构。DeepSeekMoE有两个关键理念：

1. 将专家模块划分得更细粒度，以实现更高程度的专家专业化和更精准的知识获取；
2. 分离出一些共享专家，以减少路由专家之间的知识冗余。

在激活的专家参数和专家总参数数量相同的情况下，DeepSeekMoE 的性能大幅优于诸如 GShard 等传统的混合专家（MoE）架构。

设 $u_t$ 为第 $t$ 个词元的前馈神经网络输入，按如下方式计算前馈神经网络的输出 $h_t^{\prime }$：

h t ′ = u t + ∑ i = 1 N s FFN i ( s ) ( u t ) + ∑ i = 1 N r g i , t FFN i ( r ) ( u t ) , g i , t = { s i , t , s i , t ∈ Topk ( { s j , t ∣ 1 ≤ j ≤ N r } , K r ) 0 , otherwise , s i , t = Softmax i ( u t T e i ) \begin{align*} h'_t &= u_t + \sum_{i = 1}^{N_s} \text{FFN}_i^{(s)}(u_t) + \sum_{i = 1}^{N_r} g_{i,t} \text{FFN}_i^{(r)}(u_t), \\ g_{i,t} &= \begin{cases} s_{i,t}, & s_{i,t} \in \text{Topk}(\{s_{j,t} | 1 \leq j \leq N_r\}, K_r) \\ 0, & \text{otherwise} \end{cases}, \\ s_{i,t} &= \text{Softmax}_i \left( u_t^T e_i \right) \end{align*} ht′​gi,t​si,t​​=ut​+i=1∑Ns​​FFNi(s)​(ut​)+i=1∑Nr​​gi,t​FFNi(r)​(ut​),={si,t​,0,​si,t​∈Topk({sj,t​∣1≤j≤Nr​},Kr​)otherwise​,=Softmaxi​(utT​ei​)​

其中：

• $N_s$ 和 $N_r$ 分别表示共享专家和路由专家的数量
• ${\text{FFN}}_i^{(s)}(\cdot )$ 和 ${\text{FFN}}_i^{(r)}(\cdot )$ 分别表示第 $i$ 个共享专家和第 $i$ 个路由专家
• $K_r$ 表示激活的路由专家数量
• $g_{i,t}$ 是第 $i$ 个专家的门控值
• $s_{i,t}$ 是词元与专家的亲和度
• $e_i$ 是该层第 $i$ 个路由专家的质心
• $\text{Topk}(\cdot ,K)$ 表示在为第 $t$ 个词元与所有路由专家计算出的亲和度分数中，由 $K$ 个最高分数组成的集合

3.1.2.2、设备受限路由

通过设备受限路由机制以控制与混合专家（MoE）相关的通信成本。当采用专家并行时，被路由的专家会分布在多个设备上。对于每个词元，其与 MoE 相关的通信频率与目标专家所覆盖的设备数量成正比。由于 DeepSeekMoE 中专家的细粒度划分，激活的专家数量可能较多，因此如果采用专家并行，与 MoE 相关的通信成本会更高。

对于 DeepSeek-V2，除了对路由专家进行常规的 top-K 选择之外，还额外确保每个词元的目标专家最多分布在 $M$ 个设备上。具体来说，对于每个词元，首先选择 $M$ 个其中专家亲和度分数最高的设备。然后，在这 $M$ 个设备上的专家中进行 top-K 选择。在实践中，当 $M\ge 3$ 时，设备受限路由能够实现与无限制 top-K 路由大致相当的良好性能。

3.1.2.3、负载均衡的辅助损失

对于自动学习的路由策略，DeepSeek-V2 考虑了负载均衡因素。首先，负载不均衡会增加路由崩溃的风险，导致部分专家无法得到充分训练和利用。其次，在采用专家并行时，负载不均衡会降低计算效率。在 DeepSeek-V2 的训练过程中设计了三种辅助损失，分别用于控制专家级负载均衡、设备级负载均衡和通信均衡。

1、专家级均衡损失

DeepSeek-V2 采用一种专家级均衡损失来降低路由崩溃的风险：

$$\begin{array}{rl}{\mathcal{L}}_{\text{ExpBal}}& ={\alpha }_1\sum _{i=1}^{N_r}{f}_i{P}_i,\\ f_i& =\frac{N_r}{K_{r}T}\sum _{t=1}^{T}1(\text{Token }t\text{ selects Expert }i),\\ P_i& =\frac{1}{T}\sum _{t=1}^T{s}_{i,t}\end{array}$$

其中，${\alpha }_1$ 是一个称为专家级均衡因子的超参数；$1(\cdot )$ 表示指示函数；$T$ 表示序列中的词元数量。

2、设备级均衡损失

除了专家级均衡损失，还额外设计了设备级均衡损失，以确保不同设备间的计算负载均衡。在 DeepSeek-V2 的训练过程中，将所有路由专家划分为 $D$ 组 { E 1 , E 2 , … , E D } \{E_1, E_2, \ldots, E_D\} {E1​,E2​,…,ED​}，并将每组部署在单个设备上。设备级均衡损失的计算方式如下：

$$\begin{array}{rl}{\mathcal{L}}_{\text{DevBal}}& ={\alpha }_2\sum _{i=1}^D{f}_i^{\prime }{P}_i^{\prime },\\ f_i^{\prime }& =\frac{1}{|{\mathcal{E}}_i|}\sum _{j\in {\mathcal{E}}_i}{f}_j,\\ P_i^{\prime }& =\sum _{j\in {\mathcal{E}}_i}{P}_j\end{array}$$

其中，${\alpha }_2$ 是一个称为设备级均衡因子的超参数。

3、通信均衡损失

最后，引入通信均衡损失，以确保每个设备的通信负载均衡。尽管设备受限路由机制保证了每个设备的发送通信量受到限制，但如果某个设备接收的词元数量多于其他设备，实际通信效率仍会受到影响。为缓解这一问题，设计如下通信均衡损失：

$$\begin{array}{rl}{\mathcal{L}}_{\text{CommBal}}& ={\alpha }_3\sum _{i=1}^D{f}_i^{\prime \prime }{P}_i^{\prime \prime },\\ f_i^{\prime \prime }& =\frac{D}{MT}\sum _{t=1}^{T}1(\text{Token }t\text{ is sent to Device }i),\\ P_i^{\prime \prime }& =\sum _{j\in {\mathcal{E}}_i}{P}_j\end{array}$$

其中，${\alpha }_3$ 是一个称为通信均衡因子的超参数。设备受限路由机制的运行原则是确保每个设备最多向其他设备传输 $MT$ 个隐藏状态。同时，采用通信均衡损失来促使每个设备从其他设备接收约 $MT$ 个隐藏状态。通信均衡损失保证了设备之间信息的均衡交换，有助于实现高效通信。

3.1.2.4、词元丢弃策略

尽管均衡损失旨在促进负载均衡，但必须承认，它们无法保证严格的负载均衡。为了进一步减少因负载不均衡导致的计算浪费，DeepSeek-V2 在训练过程中引入设备级词元丢弃策略：首先计算每个设备的平均计算预算，即每个设备的容量因子等同于 1.0。然后，在每个设备上丢弃亲和度分数最低的词元，直至达到计算预算。此外，确保大约 10% 的训练序列中的词元永远不会被丢弃。通过这种方式，可以在推理过程中根据效率要求灵活决定是否丢弃词元，并且始终保证训练和推理之间的一致性。

3.2、预训练

3.2.1、数据构建

在保持与 DeepSeek 67B 相同的数据处理阶段的同时，DeepSeek-V2 扩充了数据量并提升了数据质量。为了扩大预训练语料库，DeepSeek-V2 探索了互联网数据的潜力并优化了清洗流程，从而恢复了大量被误删除的数据。此外，纳入了更多中文数据，旨在更好地利用中文互联网上可用的语料库。

除了数据量，DeepSeek-V2 还关注数据质量。用来自各种来源的高质量数据丰富预训练语料库，同时改进基于质量的过滤算法。改进后的算法确保大量无用数据被剔除，而有价值的数据大多得以保留。此外，从预训练语料库中过滤掉有争议的内容，以减轻特定地域文化带来的数据偏差。

DeepSeek-V2 采用与 DeepSeek 67B 相同的分词器，该分词器基于字节级字节对编码（BBPE）算法构建，词汇表大小为 10 万个。经过分词的预训练语料库包含 8.1 万亿个词元，其中中文词元比英文词元大约多12%。

3.2.2、超参数

1、模型超参数

DeepSeek-V2 将 Transformer 层数设置为 60，隐藏层维度设置为 5120。所有可学习参数均以标准差 0.006 进行随机初始化。在多层注意力（MLA）中，将注意力头的数量 $n_h$ 设置为 128，每个头的维度 $d_h$ 设置为 128。KV 压缩维度 $d_c$ 设置为 512，query 压缩维度 $d_c^{\prime }$ 设置为 1536。对于解耦后的 query 和 key，将每个头的维度 $d_h^R$ 设置为 64。

DeepSeek-V2 将除第一层之外的所有前馈神经网络（FFNs）替换为混合专家（MoE）层。每个 MoE 层由 2 个共享专家和 160 个路由专家组成，每个专家的中间隐藏层维度为 1536。在路由专家中，每个词元将激活 6 个专家。此外，低秩压缩和细粒度的专家划分会影响一层的输出规模。因此，在实际操作中，在压缩后的潜在向量之后采用额外的均方根归一化（RMS Norm）层，并在宽度瓶颈处（即压缩后的潜在向量和路由专家的中间隐藏状态）乘以额外的缩放因子，以确保训练的稳定性。在此配置下，DeepSeek-V2 总共有 2360 亿个参数，每个词元激活 210 亿个参数。

2、训练超参数

DeepSeek-V2 采用 AdamW 优化器，超参数设置为 ${\beta }_1=0.9$，${\beta }_2=0.95$，权重衰减为 $0.1$。学习率采用预热与阶梯衰减（warmup-and-step-deca）策略进行调度。最初，在前 2000 步中，学习率从 0 线性增加到最大值。随后，在训练约 60% 的词元后，学习率乘以 0.316，在训练约 90% 的词元后，再次乘以 0.316。最大学习率设置为 $2.4\times 10^{-4}$，梯度裁剪范数设置为 1.0。

DeepSeek-V2 还使用批量大小调度策略，在训练前 2250 亿个词元时，批量大小从 2304 逐渐增加到 9216，在剩余训练过程中保持为 9216。此外，将最大序列长度设置为 4096，并在 8.1 万亿个词元上训练 DeepSeek-V2。

DeepSeek-V2 利用流水线并行技术将模型的不同层部署在不同设备上，对于每一层，路由专家将均匀部署在 8 个设备上（$D=8$）。对于设备受限路由，每个词元最多发送到 3 个设备（$M=3$）。对于均衡损失，将 ${\alpha }_1$ 设置为 0.003，${\alpha }_2$ 设置为 0.05，${\alpha }_3$ 设置为 0.02。在训练期间采用词元丢弃策略以加速训练，但在评估时不丢弃任何词元。

3.2.3、基础设施

DeepSeek-V2 基于自主开发的高效轻量级训练框架 HAI-LLM 框架进行训练。该框架采用 16 路零气泡流水线并行、8 路专家并行以及 ZeRO-1 数据并行。鉴于 DeepSeek-V2 的激活参数相对较少，且部分操作会重新计算以节省激活内存，因此无需张量并行即可完成训练，从而降低了通信开销。此外，为进一步提高训练效率，将共享专家的计算与专家并行的全对全通信进行重叠处理。

DeepSeek-V2 针对不同专家间的通信、路由算法以及融合线性计算，定制了更快的 CUDA 内核。此外，多层注意力（MLA）也基于改进版的 FlashAttention-2 进行了优化。

所有的实验均在配备 NVIDIA H800 GPU 的集群上进行。H800 集群中的每个节点包含 8 个通过 NVLink 和节点内 NVSwitch 相连的 GPU。跨节点之间，则利用 InfiniBand 互连来实现通信。

3.2.4、长上下文扩展

在对 DeepSeek-V2 进行初始预训练后，采用 YaRN 将默认上下文窗口长度从 4K 扩展到 128K。YaRN 专门应用于解耦后的共享键 $k_t^R$，因为它负责承载旋转位置嵌入（RoPE）。对于 YaRN，将缩放因子 $s$ 设置为 40，$\alpha$ 设置为 1，$\beta$ 设置为 32，目标最大上下文长度设置为 160K。在这些设置下，期望模型在 128K 的上下文长度下能有良好表现。由于 DeepSeek-V2 独特的注意力机制，与原始 YaRN 略有不同，DeepSeek-V2 调整了长度缩放因子来调节注意力熵。因子 $\sqrt{t}$ 计算为 $\sqrt{t}=0.0707\ln s+1$，目的是使困惑度最小化。

DeepSeek-V2 对模型进行了 1000 步的训练，序列长度设为 32K，批量大小为 576 个序列。尽管训练仅在 32K 的序列长度下进行，但当在 128K 的上下文长度下进行评估时，该模型仍展现出强大的性能。

YaRN

YaRN（Yet another RoPE extensioN method） 是一种用于扩展基于旋转位置嵌入（RoPE）的大型语言模型上下文窗口的高效方法，所需的训练数据和训练步骤分别比之前的方法少10倍和2.5倍。通过对 LLaMA 使用 YaRN 能够有效利用并外推到比其原始预训练所允许的更长的上下文长度，同时在上下文窗口扩展方面超越了之前的最先进技术。此外，YaRN 具备在微调数据集有限上下文之外进行外推的能力。

1、旋转位置嵌入

YaRN 基于 RoPE，在一个隐藏层上工作，其中隐藏神经元的集合由 $D$ 表示。给定一个向量序列 $x_1,\cdots ,x_L\in {\mathbb{R}}^{\Vert D\Vert }$ ，注意力层首先将这些向量转换为查询向量和键向量：

$$q_m=f_q(x_m,m)\in {\mathbb{R}}^{|D|},k_n=f_k(x_n,n)\in {\mathbb{R}}^{|D|}$$

接下来，计算注意力权重为

$$\mathrm{softmax}\left(\frac{q_m^T{k}_n}{\sqrt{|D|}}\right)$$

其中 $q_m,k_n$ 被视为列向量，因此 $q_m^T{k}_n$ 简单地是欧几里得内积。在 RoPE 中，假设 $\Vert D\Vert$ 是偶数，并将嵌入空间和隐藏状态识别为复向量空间：

$${\mathbb{R}}^{|D|}\cong {\mathbb{C}}^{|D|/2}$$

其中内积 $q^{T}k$ 变为标准厄米内积的实部 $\mathrm{Re}\left(q^{\ast }k\right)$ 。更具体的，同构交错实部和虚部：

$$\left((x_m{)}_1,\cdots ,(x_m{)}_{|D|}\right)\mapsto \left((x_m{)}_1+i(x_m{)}_2,\cdots ,\left((x_m{)}_{|D|-1}+i(x_m{)}_{|D|}\right)\right),$$

$$\begin{array}{rl}\left((q_m{)}_1,\cdots ,(q_m{)}_{|D|}\right)& \mapsto \left((q_m{)}_1+i(q_m{)}_2,\cdots ,((q_m{)}_{|D|-1}+i(q_m{)}_{|D|})\right).\end{array}$$

为了将嵌入 $x_m,x_n$ 转换为查询和键向量，首先需要定义 $\mathbb{R}$ 线性算子：

$$W_q,W_k:{\mathbb{R}}^{|D|}\to {\mathbb{R}}^{|D|}.$$

在复坐标中，函数 $f_q,f_k$ 由下式给出：

$$f_q\left(x_m,m\right)=e^{im\theta }{W}_q{x}_m,f_k\left(x_n,n\right)=e^{in\theta }{W}_k{x}_n,$$

其中 $\theta =\mathrm{diag}\left({\theta }_1,\cdots ,{\theta }_{\Vert D\Vert /2}\right)$ 是对角矩阵，且 ${\theta }_d=b^{-2d/\Vert D\Vert }$ ，$b=10000$ 。这样，RoPE 将每个（复数值）隐藏神经元与一个单独的频率 ${\theta }_d$ 关联起来。这样做的好处是查询（query）向量和键（key）向量之间的点积仅取决于相对距离 $m-n$ ，如下所示：

$$\begin{array}{rl}⟨f_q\left(x_m,m\right),f_k\left(x_n,n\right){⟩}_{\mathbb{R}}& =\text{Re}(⟨f_q(x_m,m),f_k(x_n,n){⟩}_{\mathbb{C}})\\ & =\mathrm{Re}\left(x_m^{\ast }{W}_q^{\ast }{W}_k{x}_n{e}^{i\theta (m-n)}\right)\\ & =g(x_m,x_n,m-n).\end{array}$$

在实坐标中，RoPE 可以用以下函数写成：

KaTeX parse error: Unknown column alignment: [ at position 59: …t(\begin{array}[̲]{cccccccc}\cos…

即：

$$f_q=f_{W_q},f_k=f_{W_k}.$$

注：

在 RoPE 里，每个维度 $d$ 有对应旋转角度 ${\theta }_d$，结合位置索引 $m$ 得到旋转角度 $m{\theta }_d$。从数学实现看，此旋转操作类似在复平面旋转位置向量。类比信号处理，不同的 $m{\theta }_d$ 使位置向量在各维度以不同 “速度” 旋转，类似不同频率。大的 ${\theta }_d$ 使向量旋转快，对应高频；小的 ${\theta }_d$ 使向量旋转慢，对应低频。

快速旋转能够捕捉输入序列中的局部细节和短期依赖关系，因为这些变化通常较为频繁且快速。慢速旋转适合捕捉长距离依赖关系，因为这些关系通常变化较慢且需要更长的上下文信息。通过这种设计，模型能够在不同维度上同时捕捉局部细节和长距离依赖。

2、位置插值（PI）

由于语言模型通常在固定的上下文长度下进行预训练，因此很自然会提出这样一个问题：如何通过相对少量的数据微调来扩展上下文长度。

对于使用 RoPE 作为位置嵌入的语言模型，有研究提出位置插值（PI）来扩展超出预训练限制的上下文长度。虽然直接外推在序列 $w_1,\cdots ,w_L$（$L$ 大于预训练极限）中表现不佳，但在少量微调的帮助下，对预训练限制内的位置索引进行插值能取得良好效果。具体来说，给定一个使用 RoPE 的预训练语言模型：

$$\begin{array}{rl}{f}_W^{\prime }\left(x_m,m,{\theta }_d\right)& =f_W\left(x_m,\frac{mL}{L^{\prime }},{\theta }_d\right),\end{array}\text{\hspace{1em}(1)}$$

其中 $L^{\prime }>L$ 是超出预训练限制的新上下文窗口。通过原始预训练模型加上修改后的 RoPE 公式，在数量少几个数量级的词元上进一步微调了语言模型，并成功实现了上下文窗口的扩展。

3、额外的符号说明

扩展的上下文长度与原始上下文长度之间的比率特别重要，引入符号 $s$（比例因子）定义为：

$$s=\frac{L^{\prime }}{L},$$

重写并简化方程（1）为以下一般形式：

$$f_W^{\prime }\left(x_m,m,{\theta }_d\right)=f_W\left(x_m,g(m),h\left({\theta }_d\right)\right),\text{\hspace{1em}(2)}$$

其中 $g(m),h\left({\theta }_d\right)$ 是方法相关的函数。对于 PI，有 $g(m)=m/s,h\left({\theta }_d\right)={\theta }_d$ 。

此外，定义 ${\lambda }_d$ 为 RoPE 嵌入在第 $d$ 个隐藏维度上的波长：

$${\lambda }_d=\frac{2\pi }{{\theta }_d}=2\pi b^{\frac{2d}{|D|}}.\text{\hspace{1em}(3)}$$

波长描述了 RoPE 嵌入在第 $d$ 个维度上执行一次完整旋转（$2\pi$）所需的词元长度。

鉴于一些插值方法（例如 PI）不关心维度的波长，将这些方法称为“盲目”的插值方法，而其他方法（例如YaRN）则将其分类为“目标”插值方法。

4、高频信息损失 - “NTK感知” 插值法

PI 尝试通过重新定义 $g(m)$ 将位置索引拉伸到预训练窗口内，PI 所描述的理论插值界限不足以预测 RoPE 与大语言模型（LLM）内部嵌入之间的复杂动态关系。

如果仅从信息编码的角度来看 RoPE，利用神经正切核（NTK）理论表明，若输入维度较低且相应的嵌入缺乏高频成分，深度神经网络在学习高频信息时会遇到困难。一个词元的位置信息是一维的，而 RoPE 将其扩展为一个 $n$ 维的复数向量嵌入。

在许多方面，RoPE 与傅里叶特征极为相似，因为可以将 RoPE 定义为傅里叶特征的一种特殊一维情况。不加区分地拉伸 RoPE 嵌入会导致重要高频细节的丢失，而网络需要这些细节来分辨非常相似且位置相近的词元（描述最小距离的旋转不能太小，以便网络能够检测到）。

假设在 PI 中，在较大上下文规模上微调后，较短上下文规模的困惑度略有增加可能与该问题有关。在理想情况下，在较大上下文规模上进行微调不应降低较小上下文规模的性能。

为解决在对 RoPE 嵌入进行插值时丢失高频信息的问题，开发了 “NTK感知” 插值法。与对 RoPE 的每个维度同等按因子 $s$ 进行缩放不同，通过减少高频的缩放幅度并增加低频的缩放幅度，将插值压力分散到多个维度上。可以通过多种方式获得这种变换，但最简单的方法是对 $\theta$ 的值进行底数变换。

更准确地说，按照第 3 节中设定的符号，将 “NTK感知” 插值方案定义如下：

定义1 “NTK感知” 插值是对 RoPE 的一种修改，使用公式（2）以及以下函数：

$$g(m)=m$$

$$h({\theta }_d)=b^{\prime -2d/|D|}$$

其中，

$$b^{\prime }=b\cdot s^{\frac{|D|}{|D|-2}}$$

与 PI 相比，该方法在扩展非微调模型的上下文规模方面表现要好得多。然而，该方法的一个主要缺点是，由于它不仅仅是一种插值方案，一些维度会稍微外推到 “越界” 值，因此使用 “NTK感知” 插值法进行微调得到的结果不如 PI。此外，由于存在 “越界” 值，理论缩放因子 $s$ 不能准确描述真实的上下文扩展比例。在实践中，对于给定的上下文长度扩展，缩放值 $s$ 必须设置得高于预期比例。

5、相对局部距离的损失 - “逐部分NTK” 插值法

PI和 “NTK感知” 插值这样的盲目插值方法中对 RoPE 的所有隐藏维度一视同仁（即认为它们对网络具有相同的影响）。然而，有明显线索表明需要有针对性的插值方法。

在本节中，主要从 RoPE 公式（公式 3）中定义的波长 ${\lambda }_d$ 的角度来考虑问题。为简化起见，省略 ${\lambda }_d$ 中的下标 $d$，建议将 $\lambda$ 视为任意周期函数的波长。

对 RoPE 嵌入的一个有趣观察是，对于给定的上下文大小 $L$，在某些维度 $d$ 上，波长比预训练期间看到的最大上下文长度更长（$\lambda >L$），这表明某些维度的嵌入在旋转域中可能分布不均匀。在这种情况下，假定拥有所有独特的位置对意味着绝对位置信息保持完整。相反，当波长较短时，网络只能获取相对位置信息。

此外，当通过缩放因子 $s$ 或使用底数变换 $b^{\prime }$ 对所有 RoPE 维度进行拉伸时，所有词元彼此之间变得更加接近，因为旋转量较小的两个向量的点积更大。这种缩放严重削弱了大语言模型理解其内部嵌入之间细微局部关系的能力。假设这种压缩会导致模型对相邻词元的位置顺序感到困惑，从而损害模型的能力。

为解决这个问题，选择完全不对高频维度进行插值，而始终对低频维度进行插值。具体来说：

• 如果波长 $\lambda$ 远小于上下文大小 $L$，不进行插值
• 如果波长 $\lambda$ 等于或大于上下文大小 $L$，只希望仅进行插值并避免任何外推（不同于之前的 “NTK感知型” 方法）
• 介于两者之间的维度可以两者兼具，类似于 “NTK感知” 插值法

因此，引入原始上下文大小 $L$ 与波长 $\lambda$ 之间的比率 $r=\frac{L}{\lambda }$ 会更方便。在第 $d$ 个隐藏状态中，比率 $r$ 与 $d$ 的关系如下：

$$r(d)=\frac{L}{{\lambda }_d}=\frac{L}{2\pi b^{\prime \frac{2d}{|D|}}}$$

为了如上述定义不同插值策略的边界，引入两个额外参数 $\alpha$、$\beta$。所有满足 $r(d)<\alpha$ 的隐藏维度 $d$，按照缩放因子 $s$ 进行线性插值（与 PI 完全一样，避免任何外推），而满足 $r(d)>\beta$ 的维度 $d$ 则完全不进行插值。定义斜坡函数 $\gamma$ 如下：

$$\gamma (r)=\{\begin{array}{ll}0,& \text{ if }r<\alpha \\ 1,& \text{ if }r>\beta \\ \frac{r-\alpha }{\beta -\alpha },& \text{ otherwise }\end{array}$$

借助斜坡函数，“逐部分NTK” 方法可以描述如下。

定义2 “逐部分NTK” 插值是对 RoPE 的一种修改，使用公式（2）以及以下函数（对 $h$ 进行线性斜坡插值可能有其他替代方法，例如对 ${\theta }_d/s$ 和从波长线性插值转换而来的 ${\theta }_d$ 取调和平均数。这里选择 $h$ 是为了实现简单）：

$$g(m)=m$$

$$h({\theta }_d)=\left(1-\gamma (r(d))\right)\frac{{\theta }_d}{s}+\gamma (r(d)){\theta }_d$$

$\alpha$ 和 $\beta$ 的值应根据具体情况进行调整。例如，通过实验发现，对于 LLaMa系列模型，$\alpha =1$ 和 $\beta =32$ 是较好的值。

使用本节所述的技术，由此产生的一种改进方法以 “逐部分NTK” 插值法的名称发布。无论是对于非微调模型还是微调模型，这种改进方法的表现都优于之前的 PI 和 “NTK感知”（第 4 节）插值方法。

6、动态缩放 - “动态NTK” 插值法

在许多应用场景中，会对长度从 1 到最大上下文大小不等的序列进行多次前向传播。一个典型的例子是自回归生成，其中序列长度在每一步后增加 1。对于使用缩放因子 $s$ 的插值方法（包括 PI、“NTK感知” 和 “逐部分NTK”），有两种应用方式：

1. 在整个推理周期中，嵌入层保持固定，包括缩放因子 $s=L^{\prime }/L$，其中 $L^{\prime }$ 是扩展上下文大小的固定值
2. 在每次前向传播中，位置嵌入更新缩放因子 $s=\max (1,l^{\prime }/L)$，其中 $l^{\prime }$ 是当前序列的长度

方式（1）的问题在于，模型在长度小于 $L$ 时可能会出现性能折扣，而当序列长度大于 $L^{\prime }$ 时性能会急剧下降。但是，通过像方式（2）那样进行动态缩放，它允许模型在达到训练上下文限制 $L^{\prime }$ 时性能逐渐下降，而不是立即失效。将这种推理时的方法称为动态缩放方法。当它与 “NTK感知” 插值法结合时，称之为 “动态NTK” 插值法。“动态NTK” 插值法在未经任何微调、在长度 $L$ 上预训练的模型（$L^{\prime }=L$）上表现异常出色。

在重复的前向传播中，通常会应用 KV 缓存，以便可以重用先前的键值向量并提高整体效率。在某些实现中，当缓存 RoPE 嵌入时，为了在使用键值缓存的情况下对其进行动态缩放修改，正确的实现应该在应用 RoPE 之前缓存键值嵌入，因为当 $s$ 变化时，每个词元的 RoPE 嵌入都会改变。

7、YaRN

除了之前的插值技术，在注意力 softmax 操作之前的对数几率（logits）上引入一个温度参数 $t$，无论数据样本和扩展上下文窗口内的词元位置如何，都会对困惑度产生一致的影响。更确切的说，将注意力权重的计算修改为：

$$\mathrm{softmax}\left(\frac{{\mathbf{q}}_m^T{\mathbf{k}}_n}{t\sqrt{|\mathcal{D}|}}\right)\text{\hspace{1em}(4)}$$

将 RoPE 重新参数化为一组二维矩阵，对于实现这种注意力缩放有明显的好处：可以采用 “长度缩放” 技巧，只需将复数形式的 RoPE 嵌入按相同比例缩放一个常数因子 $\sqrt{1/t}$，就可以对查询向量 ${\mathbf{q}}_m$ 和键向量 ${\mathbf{k}}_n$ 进行同等缩放。这样，YaRN 可以在不修改代码的情况下有效改变注意力机制。

此外，由于 RoPE 嵌入是预先生成的，并且在所有前向传播过程中都会被重复使用，因此该方法在推理和训练过程中均无额外开销。将其与 “逐部分NTK” 插值法相结合就得到了 YaRN 方法。

定义3 “YaRN方法” 指的是公式（4）中的注意力缩放方法与第 5 节中介绍的 “逐部分NTK” 插值法的结合。

对于 LLaMA 模型推荐使用以下参数值：

$$\sqrt{\frac{1}{t}}=0.1\ln (s)+1$$

3.2.5、训练和推理效率

1、训练成本

由于 DeepSeek-V2 相较于 DeepSeek 67B，每个词元激活的参数更少，所需的浮点运算次数（FLOPs）也更少，从理论上讲，训练 DeepSeek-V2 比训练 DeepSeek 67B 更经济。尽管训练混合专家（MoE）模型会引入额外的通信开销，但通过对算子和通信的优化，DeepSeek-V2 的训练能够实现较高的模型浮点运算利用率（MFU）。在基于 H800 集群的实际训练中，每训练一万亿个词元，DeepSeek 67B 需要 30.06 万个 GPU 小时，而 DeepSeek-V2 仅需 17.28 万个 GPU 小时，即稀疏的 DeepSeek-V2 与密集的 DeepSeek 67B 相比，可节省 42.5% 的训练成本。

2、推理效率

为了高效地将 DeepSeek-V2 部署用于服务，首先将其参数转换为 FP8 精度。此外，对 DeepSeek-V2 执行键值（KV）缓存量化以进一步将其 KV 缓存中的每个元素平均压缩至 6 比特。得益于多层注意力（MLA）以及这些优化措施，实际部署的 DeepSeek-V2 相较于 DeepSeek 67B 所需的 KV 缓存显著减少，因此能够处理更大的批量。基于实际部署的 DeepSeek 67B 服务中的 prompt 和生成长度分布，在配备 8 个 H800 GPU 的单个节点上，DeepSeek-V2 的生成吞吐量超过每秒 5 万个词元，是 DeepSeek 67B 最大生成吞吐量的 5.76 倍。此外，DeepSeek-V2 的 prompt 输入吞吐量超过每秒 10 万个词元。

3.3、对齐

3.3.1、监督式微调

指令调优数据集包含 150 万个实例，包括 120 万个用于提升模型有用性的实例和 30 万个用于增强安全性的实例。与初始版本相比提高了数据质量，以减少模型产生幻觉式回复的情况，并提升其语言表达能力。DeepSeek-V2 进行 2 轮微调，学习率设置为 $5\times 10^{-6}$。对于 DeepSeek-V2 Chat（SFT）的评估，除了几个有代表性的多项选择题任务（如 MMLU 和 ARC），主要采用基于生成的基准测试。

3.3.2、强化学习

DeepSeek-V2 通过强化学习（RL）进一步释放 DeepSeek-V2 的潜力并使其与人类偏好对齐。

1、强化学习算法

为了节省 RL 的训练成本，DeepSeek-V2 采用群组相对策略优化（Group Relative Policy Optimization，GRPO），该方法摒弃了通常与策略模型规模相同的评论家模型，而是从组分数中估计基线。具体来说，对于每个问题 $q$，GRPO 从旧策略 ${\pi }_{{\theta }_{old}}$ 中采样一组输出 ${o}_1,o_2,...,o_G$，然后通过最大化以下目标来优化策略模型 ${\pi }_{\theta }$：

J G R P O ( θ ) = E [ q ∼ P ( Q ) , { o i } i = 1 G ∼ π θ o l d ( O ∣ q ) ] 1 G ∑ i = 1 G ( min ⁡ ( π θ ( o i ∣ q ) π θ o l d ( o i ∣ q ) A i , clip ⁡ ( π θ ( o i ∣ q ) π θ o l d ( o i ∣ q ) , 1 − ε , 1 + ε ) A i ) − β D K L ( π θ ∣ ∣ π r e f ) ) , \begin{align*} \mathcal{J}_{G R P O}(\theta)=&\mathbb{E}\left[q \sim P(Q),\left\{o_i\right\}_{i=1}^G \sim \pi_{\theta_{o l d}}(O \mid q)\right] \\ &\frac{1}{G} \sum_{i=1}^G\left(\min \left(\frac{\pi_\theta\left(o_i \mid q\right)}{\pi_{\theta_{o l d}}\left(o_i \mid q\right)} A_i, \operatorname{clip}\left(\frac{\pi_\theta\left(o_i \mid q\right)}{\pi_{\theta_{o l d}}\left(o_i \mid q\right)}, 1-\varepsilon, 1+\varepsilon\right) A_i\right)-\beta \mathbb{D}_{K L}\left(\pi_\theta| | \pi_{r e f}\right)\right), \end{align*} JGRPO​(θ)=​E[q∼P(Q),{oi​}i=1G​∼πθold​​(O∣q)]G1​i=1∑G​(min(πθold​​(oi​∣q)πθ​(oi​∣q)​Ai​,clip(πθold​​(oi​∣q)πθ​(oi​∣q)​,1−ε,1+ε)Ai​)−βDKL​(πθ​∣∣πref​)),​

$${\mathbb{D}}_{KL}\left({\pi }_{\theta }||{\pi }_{ref}\right)=\frac{{\pi }_{ref}\left(o_i\mid q\right)}{{\pi }_{\theta }\left(o_i\mid q\right)}-\log \frac{{\pi }_{ref}\left(o_i\mid q\right)}{{\pi }_{\theta }\left(o_i\mid q\right)}-1,$$

其中 $\epsilon$ 和 $\beta$ 是超参数；$A_i$ 是根据每组输出对应的奖励 ${r}_1,r_2,\cdots ,r_G$ 计算的收益：

A i = r i − mean ⁡ ( { r 1 , r 2 , ⋯ , r G } ) std ⁡ ( { r 1 , r 2 , ⋯ , r G } ) . A_i=\frac{r_i-\operatorname{mean}\left(\left\{r_1, r_2,\cdots, r_G\right\}\right)}{\operatorname{std}\left(\left\{r_1, r_2,\cdots, r_G\right\}\right)}. Ai​=std({r1​,r2​,⋯,rG​})ri​−mean({r1​,r2​,⋯,rG​})​.

2、训练策略

针对推理数据（如代码和数学提示）的强化学习训练展现出与一般数据训练不同的独特特征。例如，模型的数学和编码能力在较长的训练步数内能够持续提升。因此，DeepSeek-V2 采用两阶段强化学习训练策略，首先进行推理对齐，然后进行人类偏好对齐。

$$r_i=R{M}_{\text{reasoning}}\left(o_i\right).$$

在第二个人类偏好对齐阶段采用了一个多奖励框架，从有帮助的奖励模型 $R{M}_{helpful}$、安全奖励模型 $R{M}_{safety}$ 和基于规则的奖励模型 $R{M}_{rule}$ 获取奖励。响应 $o_i$ 的最终奖励为：

$$r_i=c_1\cdot R{M}_{\text{helpful}}\left(o_i\right)+c_2\cdot R{M}_{\text{safety}}\left(o_i\right)+c_3\cdot R{M}_{\text{rule}}\left(o_i\right),$$

其中 $c_1、c_2$ 和 $c_3$ 是相应的系数。

为了获得在 RL 训练中起关键作用的可靠奖励模型，DeepSeek-V2 仔细收集了偏好数据，并精心进行了质量过滤和比例调整。DeepSeek-V2 基于编译器反馈获得代码偏好数据，基于真实标签获得数学偏好数据。对于奖励模型的训练，使用 DeepSeek-V2 Chat（SFT）初始化奖励模型，并使用 point-wise 或 pair-wise 损失对其进行训练。

3、训练效率优化

对大型模型进行 RL 训练对训练框架提出了很高的要求，需要精心的工程优化来管理 GPU 内存和 RAM 压力，同时保持快速的训练速度。为此，DeepSeek-V2 实施了以下工程优化：

1. DeepSeek-V2 提出了一种混合引擎，分别采用不同的并行策略进行训练和推理，以实现更高的 GPU 利用率
2. 利用 vLLM 和设置较大的批量大小作为推理后端，以加速推理速度
3. 设计了一种将模型卸载到 CPU 并重新加载回 GPU 的调度策略，在训练速度和内存消耗之间实现了近乎最优的平衡

3.3.3、讨论

1、监督微调（SFT）数据量

围绕大规模 SFT 语料库必要性的讨论一直是激烈争论的话题。先前的研究 认为，少于 10,000 个 SFT 数据实例就足以产生令人满意的结果。然而，在 DeepSeek-V2 的实验中，如果使用少于 10,000 个实例，在 IFEval 基准测试中性能显著下降。一种可能的解释是，语言模型需要一定量的数据来培养特定技能。尽管随着模型规模的增加，所需的数据量可能会减少，但它不可能完全消除。DeepSeek-V2 的观察强调了为大语言模型（LLM）配备所需能力时，充足数据的关键必要性。此外，SFT 数据的质量也至关重要，特别是对于涉及写作或开放式问题的任务。

2、强化学习的对齐代价

在人类偏好对齐过程中，DeepSeek-V2 观察到在开放式生成基准测试中，无论是人工智能还是人类评估者给出的分数，都显示出性能有显著提升。然而，DeepSeek-V2 也注意到一种 “对齐代价（alignment tax）” 现象，即对齐过程可能会对某些标准基准测试（如 BBH）的性能产生负面影响。为了减轻这种对齐代价，在强化学习阶段，DeepSeek-V2 在数据处理和改进训练策略方面做出了巨大努力，最终在标准基准测试和开放式基准测试的性能之间实现了可接受的权衡。

3、在线强化学习

在 DeepSeek-V2 的偏好对齐实验中，在线方法显著优于离线方法。因此，DeepSeek-V2 投入了大量精力来实现一个用于对齐 DeepSeek-V2 的在线强化学习框架。

参考文献

1. DeepSeek LLM Scaling Open-Source Language Models with Longtermism
2. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
3. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
4. YaRN: Efficient Context Window Extension of Large Language Models
5. DeepSeek-V3 Technical Report
6. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning