LLaMA2 简介

2023年7月19日：Meta 发布开源可商用模型 Llama 2。

Llama 2是一个预训练和微调的生成文本模型的集合，其规模从70亿到700亿个参数不等。

经过微调的LLMs称为Llama-2-Chat，针对对话用例进行了优化。Llama-2-Chat模型在我们测试的大多数基准测试中都优于开源聊天模型，在对有用性和安全性的人工评估中，与ChatGPT和PaLM等一些流行的封闭源代码模型不相上下。

LLaMA-2-chat 几乎是开源模型中唯一做了 RLHF 的模型。LLaMA-2 经过 5 轮 RLHF 后，在 Meta 自己的 reward 模型与 GPT-4 的评价下，都表现出了超过 ChatGPT 性能。

论文

https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

GitHub

地址：https://github.com/facebookresearch/llama

huggingface

地址：https://huggingface.co/meta-llama

模型列表

Llama2-chat：
Llama2-chat-7B
Llama2-chat-13B
Llama2-chat-70B

其他模型请查看：https://huggingface.co/meta-llama

训练数据

1. 在超过2万亿tokens数据集上训练。
2. 微调数据包括公开可用的指令数据集，以及超过100万个新的人工注释示例。
3. 预训练数据的截止日期为2022年9月

训练信息

1. 所有模型都使用全局批量大小为4M tokens进行训练。

2. 更大的700亿参数模型使用Grouped-Query Attention（GQA）来提高推理可扩展性。

3. 训练时间为2023年1月至2023年7月。

4. 是一个纯文本模型。

5. 预训练过程中，在 A100-80GB 花费了33万GPU小时。

模型信息

上下文长度为 4K。

许可证

免费商用
需要注册申请

参考

1.https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
2.https://github.com/facebookresearch/llama

3.https://huggingface.co/meta-llama
4.Llama2-chat-7B
5.Llama2-chat-13B
6.Llama2-chat-70B