DeepSeek-V3 Technical Report
https://arxiv.org/abs/2412.19437

---

1. 核心贡献

DeepSeek-V3 是一个拥有 6710 亿参数的大规模混合专家（MoE）语言模型，每个 token 激活 370 亿参数。
该模型通过创新的架构设计和训练策略，实现了高效的推理和成本效益的训练。其主要贡献包括：

• 架构创新：采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，结合无辅助损失的负载均衡策略和多令牌预测（MTP）训练目标，显著提升了模型性能。
• 训练效率：通过 FP8 混合精度训练和优化的训练框架，DeepSeek-V3 在 14.8 万亿 token 上预训练仅需 2.788 百万 H800 GPU 小时，训练成本低至 557.6 万美元。
• 性能表现：DeepSeek-V3 在多个基准测试中表现优异，尤其在数学和代码任务上超越了其他开源模型，并与 GPT-4o 和 Claude-3.5-Sonnet 等闭源模型性能相当。

---

2. 模型架构

• 多头潜在注意力（MLA）：通过低秩压缩减少推理期间的键值缓存，提升推理效率。
• DeepSeekMoE：采用细粒度专家和共享专家设计，结合无辅助损失的负载均衡策略，确保训练过程中专家负载均衡，避免路由崩溃。
• 多令牌预测（MTP）：通过预测多个未来 token，增强模型的表示能力，并在推理时可用于推测性解码，进一步提升生成速度。

---

DeepSeek-V3基本架构的插图。
继DeepSeek-V2之后，采用MLA和DeepSeekMoE以实现高效的推理和经济的训练。

---

3. 训练与优化

• FP8 混合精度训练：首次在超大规模模型上验证了 FP8 训练的可行性，显著降低了 GPU 内存使用并加速了训练过程。
• DualPipe 算法：通过计算-通信重叠，减少了管道并行中的气泡，提升了训练效率。
• 内存优化：通过重计算、低精度存储和共享嵌入层等技术，进一步减少了内存占用。

---

图：我们多token 预测（MTP）实现的插图
在每个深度为每个令牌的预测保持完整的因果链。

---

4. 预训练与后训练

• 预训练：在 14.8 万亿 token 的多样化语料库上进行预训练，并通过两阶段上下文扩展将上下文窗口从 4K 扩展到 128K。
• 后训练：通过监督微调（SFT）和强化学习（RL）进一步提升模型性能，特别是在推理和生成任务上。通过从 DeepSeek-R1 系列模型中提取推理能力，显著提升了模型的数学和代码生成能力。

---

5. 评估结果

• 基准测试：DeepSeek-V3 在多个基准测试中表现优异，尤其在数学（如 MATH-500）和代码（如 HumanEval）任务上超越了其他开源模型。
• 开放式评估：在 AlpacaEval 2.0 和 Arena-Hard 等开放式生成任务评估中，DeepSeek-V3 表现与 GPT-4o 和 Claude-3.5-Sonnet 相当，显著优于其他开源模型。

---

6. 未来方向

• 架构改进：进一步优化模型架构，支持无限长度上下文，并探索突破 Transformer 架构限制的新方法。
• 数据扩展：持续提升训练数据的数量和质量，探索更多维度的训练信号。
• 推理能力：通过扩展推理长度和深度，增强模型的智能和问题解决能力。
• 评估方法：开发更全面的评估方法，避免过度优化固定基准，确保模型能力的全面性。

---

7. 局限性

• 部署成本：DeepSeek-V3 的部署单元较大，可能对小型团队构成负担。
• 生成速度：尽管已有显著提升，但生成速度仍有进一步优化的空间。

---

总结

DeepSeek-V3 通过创新的架构设计、高效的训练策略和强大的性能表现，成为了当前最强的开源语言模型之一。其在数学和代码任务上的卓越表现，以及与闭源模型相当的性能，展示了开源模型在推动 AI 技术进步方面的巨大潜力。未来，DeepSeek 将继续在架构、数据和推理能力上进行探索，推动模型向通用人工智能（AGI）迈进。

---

2025-02-15（六）