概述
Meta公司自豪地宣布推出其最新的开源大型语言模型——Llama 3，这是一款专为未来AI挑战而设计的先进工具。Llama 3包含两个不同参数规模的版本，以满足多样化的计算需求：
- 8B版本：优化了在消费级GPU上的部署和开发流程，使得个人开发者和小型团队也能轻松利用其强大的语言处理能力。
- 70B版本：为大规模AI应用量身定制，提供了无与伦比的处理能力和深度学习能力。
即将到来的广泛平台支持
Llama 3模型预计将在一系列顶尖的云服务平台和AI技术提供商中推出，包括AWS、Databricks、Google Cloud等。此外，该模型也将得到AMD、AWS、Dell、Intel、NVIDIA以及高通等硬件制造商的全面支持。
性能提升与新特性
Llama 3模型将带来一系列创新特性，包括：
- 新功能：增强模型的功能性，以适应更广泛的应用场景。
- 更长的上下文窗口：提升模型对长文本的理解能力。
- 额外的模型大小：提供更多参数选项，以适应不同规模的AI任务。
- 增强的性能：在各项任务中提供更快的处理速度和更高的准确率。
Meta还将分享Llama 3的详细研究论文，以促进更广泛的学术交流和技术发展。
性能指标与人类评估集
为了全面评估Llama 3的性能，Meta开发了一套新的高质量人类评估集，包含1,800个精心设计的提示，覆盖12个关键用例，包括但不限于：
- 寻求建议
- 头脑风暴
- 分类
- 封闭式问答
- 编码
- 创意写作
- 提取
- 塑造角色/角色
- 开放式问答
- 推理
- 重写
- 总结
评估结果
Llama 的演变：从 Llama 2 到 Llama 3
Meta的首席执行官马克·扎克伯格宣布，公司最新开发的人工智能模型Llama 3现已开源，这一举措标志着Meta在AI领域的最新进展。Llama 3旨在提升Meta旗下包括Messenger和Instagram在内的多个产品，使其成为全球领先的AI助手之一。
Llama 2的回顾与Llama 3的进步
Llama 2模型于两年前推出，作为开源Llama系列的一个重要里程碑，它提供了一个既强大又高效的模型，能够在消费级硬件上运行。尽管Llama 2取得了显著成就，但它也存在一些局限性，包括用户报告的错误拒绝问题、有限的帮助范围，以及在推理和代码生成方面需要改进的地方。
Llama 3: Meta的创新回应
针对这些挑战和社区的反馈，Meta通过Llama 3进行了回应。Meta的目标是构建一个能与当今市场上顶级专有模型相媲美的开源模型，同时将负责任的开发和部署实践放在首位。
Llama 3的推出，不仅代表了Meta在AI技术上的飞跃，也体现了公司对于开放创新和社区协作的承诺。随着Llama 3的开源，研究人员、开发者和AI爱好者现在可以访问这一先进的模型，共同推动人工智能技术的发展。
Llama 3：架构与训练
Meta的Llama 3模型在人工智能领域带来了显著的技术突破。其中一项创新是其分词器，它显著扩展了词汇量至128,256个令牌，相较于Llama 2的32,000个令牌，这是一个巨大的跃升。这种词汇量的增加不仅意味着模型能够更精细地理解和生成文本，而且也极大地增强了其多语言处理能力，从而提升了整体性能。
此外，Llama 3还引入了分组查询注意力（Grouped Query Attention, GQA）技术。这是一种先进的表示方法，它通过提高模型的可扩展性，帮助其更有效地处理更长的文本序列。特别是，Llama 3的8B版本采用了GQA技术，而8B和70B模型均能够处理长达8,192个令牌的序列。
这些创新不仅展示了Meta在AI技术上的领导地位，也预示着Llama 3将为各种应用场景带来前所未有的性能提升。无论是在理解复杂查询、生成创意内容，还是在多语言支持方面，Llama 3都展现了其强大的潜力。
训练数据和扩展
Llama 3 使用的训练数据是其性能提升的关键因素。 Meta 策划了超过 15万亿 来自公开在线资源的令牌，比 Llama 2 使用的数据集大七倍。该数据集还包括很大一部分（超过 5%）的高质量非英语数据，涵盖超过 30语言，为未来的多语言应用做准备。
为了确保数据质量，Meta 采用了先进的过滤技术，包括启发式过滤器、NSFW 过滤器、语义重复数据删除和在 Llama 2 上训练的文本分类器来预测数据质量。该团队还进行了广泛的实验，以确定预训练数据源的最佳组合，确保 Llama 3 在各种用例中表现良好，包括琐事、STEM、编码和历史知识。
扩大预训练规模是 Llama 3 开发的另一个关键方面。 Meta 开发了缩放法则，使他们能够在实际训练之前预测最大模型在代码生成等关键任务上的性能。这为数据混合和计算分配的决策提供了信息，最终导致更高效和有效的培训。
Llama 3 最大的模型在两个定制的 24,000 个 GPU 集群上进行训练，利用数据并行化、模型并行化和管道并行化技术的组合。 Meta 的高级训练堆栈可自动检测、处理和维护错误，从而最大限度地延长 GPU 正常运行时间，并将训练效率比 Llama 2 提高约三倍。
指令微调和性能
为了充分发挥 Llama 3 在聊天和对话应用程序方面的潜力，Meta 创新了其指令微调方法。其方法结合了 监督微调 (SFT)，拒绝采样， 近端政策优化 （PPO），以及 直接偏好优化 （数据保护办公室）。
SFT 中使用的提示的质量以及 PPO 和 DPO 中使用的偏好排名对于对齐模型的性能起着至关重要的作用。 Meta 的团队精心整理了这些数据，并对人类注释者提供的注释进行了多轮质量保证。
通过 PPO 和 DPO 进行偏好排名训练也显着提高了 Llama 3 在推理和编码任务上的表现。 Meta 发现，即使模型难以直接回答推理问题，它仍然可能产生正确的推理轨迹。对偏好排名的训练使模型能够学习如何从这些痕迹中选择正确的答案。
[
结果不言而喻：Llama 3 在常见行业基准上优于许多可用的开源聊天模型，在 8B 和 70B 参数范围内为法学硕士建立了新的最先进的性能。
](https://www.unite.ai/wp-content/uploads/2024/04/aggregated-results-of-our-human-evaluations-across-of-these-categories-and-prompts-against-Claude-Sonnet-Mistral-Medium-and-GPt.png)
负责任的开发和安全考虑
在追求尖端性能的同时，Meta 还优先考虑了 Llama 3 的负责任的开发和部署实践。该公司采用了系统级方法，将 Llama 3 模型设想为更广泛的生态系统的一部分，让开发人员处于主导地位，使他们能够设计并根据其特定用例和安全要求定制模型。
