文章目录
- 1. 概要
- 2. 文件组成
1. 概要
在使用 LLaMA(Large Language Model Meta AI)权重时,通常会涉及到与模型权重存储和加载相关的文件。这些文件通常是以二进制格式存储的,具有特定的结构来支持高效的模型操作。以下以Llama-7B为例,对这些文件的详细介绍:
2. 文件组成
1. 模型权重文件
模型权重文件包含了用于神经网络层的参数矩阵(例如权重矩阵和偏置向量)。这些参数是训练时优化得到的。
文件格式通常是 .bin 或 .pt,
如下图所示:
- pytorch_model.bin
- model-00001-of-00002.bin
权重文件通常是分片存储的,如果模型较大(如 LLaMA-13B 或 LLaMA-65B),会分成多个文件
- 配置文件
名为 config.json 或 model_config.json,包含模型的结构和超参数等关键信息,是加载模型时解析权重的关键文件,如:
- 隐藏层大小
- 注意力头数
- 词嵌入维度
- 层数
- 词汇表文件
名为 tokenizer.json 或 vocab.json,存储模型的词汇表,用于将文本数据转换为模型的输入。
通常与 merges.txt 配合使用,支持 Byte Pair Encoding (BPE) 或 SentencePiece 的分词方式
tokenizer.json主要功能
- 文本到seq的映射
将输入文本切分成较小的片段(通常是词、子词或字符)。
使用唯一编号(ID)对每个片段进行编码。
例如,“Hello, LLaMA!” 转换为 [15496, 11, 12745, 0]。 - seq到文本的逆映射
在生成模型输出时,将模型生成的整数序列映射回文本。例如,[15496, 11, 12745, 0] 转换回 “Hello, LLaMA!”。