欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/145188660

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

---

Scaling Laws (缩放定律) 是大模型领域中，用于描述 模型性能(Loss) 与 模型规模N、数据量D、计算资源C 之间关系的经验规律，揭示在大模型中，随着模型参数数量、数据集大小和计算资源的增加，模型性能的变化模式，指导更高效地分配资源，优化模型训练过程，实现更好的性能。这些规律不仅有助于预测不同规模模型的表现，还能为模型设计和训练提供理论依据，是推动大模型发展和应用的重要理论基础。

论文：ESM3 - Simulating 500 million years of evolution with a language model

在 蛋白质大语言模型(Protein Language Model, PLM) 方向，使用数据集约 200B Tokens (AA氨基酸)，基于 C=6ND，以及 Loss 与 模型规模(N) 的 IsoFLOPs 曲线，确定 FLOPs 与 模型规模(N)、FLOPs 与 数据量(D) 之间的关系，构建 ScalingLaws 公式，验证不同目标 CLM(Causal Language Model) 与 MLM(Masked Language Model) 的系数差异，即给定计算量C的情况下，确定最优模型规模N、最优数据量D。其中，计算出的公式：

$$\begin{array}{rl}{C}_{CLM}& =6.45\times N\times D\\ C_{MLM}& =5.98\times N\times D\end{array}$$

参考：大模型 ScallingLaws 的 C=6ND 公式推导

1. 数据集(D)

数据扩展(Scaling up data)，构建蛋白质序列的数据集 200B Tokens ，即 UniMeta200B，其中序列 939M (即9亿)，Tokens 是194B (即1940亿)，即平均序列长度 215，用于验证 Scaling Laws 以及预训练。

• UR50/S：Uniref50 默认数据集，以最大相似度 50% 聚类。
• Uniref90/50：Uniref90 默认数据集，以最大相似度 90% 聚类，去除 Uniref50 数据。
• ColabFoldDB: 宏基因组数据源，以最大相似度 30% 聚类，c 表示 cluster，聚类中心，m 表示 member，聚类成员。

即：

参考：GitHub - Availability of UR50/S, UR50/D also UR100/S and UR100/D

UR50/S 是从 Uniref 下载的 UR50 数据集。UR50/D 对于 UR50/S 中的每个聚类进行采样，然后在每个训练迭代中，对聚类中的每个序列进行采样，可以从聚类成员文件中，创建。因此，UR50/D 的数据量大于 UR50/S。

通过实验可知，证明数据量对于不同模型参数量的影响：

• 使用 UR50/S 数据集(即 54M Seq., 5.2B Tokens) 与 3B 模型， 即小数据和大模型，在 MLM 模型导致严重的过拟合。
• 其余均表现出，模型越大，数据越多，性能(Loss 和 PPL) 越好。

2. Scaling Law (MLM & CLM)

标准的 Scaling Law 公式，其中 $C$ 是计算量(FLOPs)，$N$ 是模型尺寸，$D$ 是数据量(Tokens 数量)，即：
$$C=6\times N\times D$$

实验条件：

• C: FLOPs 计算量从 $1\times 10^{18}\sim 1\times 10^{21}$，累计 7 个计数，间隔大约 3 倍；
• N: 模型参数量，累计使用 39 个模型 ($4M\sim 10.7B$)；
• D: 数据集，使用之前构建的 200B Tokens 蛋白质序列数据集。

数据量预估 $D=\frac{C}{6\ast N}$，例如，在 计算量是 $1\times 10^{21}$ 下：

• 1.2B 的模型 (MLM的最优模型)，计算量是 $1\times 10^{21}$，数据量是 $D=\frac{1\times 10^{21}}{6\times 1.2\times 10^9}=0.1388\times 10^{12}=1.388\times 10^{11}=133.8B$
• 1.7B 的模型 (CLM的最优模型)，计算量是 $1\times 10^{21}$，数据量是 $D=\frac{1\times 10^{21}}{6\times 1.7\times 10^9}=0.09803\times 10^{12}=0.9803\times 10^{11}=98.03B$

训练过程，确保模型经过完整的余弦学习率衰减周期，通过 最小二乘法(least_squares) 拟合得到模型参数。

IsoLoss 在探索不同的模型参数和数据规模组合时，发现一些组合下，最终损失的差异非常小，即被定义为 IsoLoss (Isometric Loss) 条件，即等距损失，因为在训练效果上是相近的。参考：Demystify Transformers: A Guide to Scaling Laws

在 IsoFLOPs(等距计算量) 曲线图中，模型尺寸(Model Size) 最大的点 是 $7.2B=7.2\times 10^9$，黄线最低点是 $1.2B=1.2\times 10^9$，黄线的计算量是 $1\times 10^{21}$，参考：

2.1 Scaling Laws (MLM or CLM)

通过 IsoFLOPs，拟合模型参数量 $N$，与数据量 $D$，与计算量 $C$ 之间的曲线：

$$\begin{array}{rl}N& =a\times C^{\alpha }\\ D& =b\times C^{\beta }\end{array}$$

通过 IsoFLOPs，计算 CLM 与 MLM 的 Scaling Laws 参数：

使用 Latex 计算数值，可以使用 SymboLab 工具

例如：

CLM 模型在 $1\times 10^{21}$ 计算量下的 最优参数量(N) 是 1.73B，与实验近似，参考：

$$\begin{array}{rl}N& =(1.26\times 10^{-3})\times C^{0.578}\\ N& =1.26\times 10^{-3}\times (1\times 10^{21}{)}^{0.578}\\ & =1.26\times 10^{-3}\times 10^{12.138}\\ & =1.26\times 10^{9.138}\\ & =1.7313\times 10^9\\ & \approx 1.73B\end{array}$$

同时，反推 C 的公式：

$$\begin{array}{rl}C& =(\frac{N}{1.26\ast 10^{-3}}{)}^{\frac{1}{0.578}}=(\frac{N}{1.26\ast 10^{-3}}{)}^{1.73}\\ C& =(\frac{1.73\ast 10^9}{1.26\ast 10^{-3}}{)}^{1.73}\\ & =(1.37\ast 10^{12}{)}^{1.73}\\ & =1\ast 10^{21}\end{array}$$

CLM 模型在 $1\times 10^{21}$ 计算量下的 最优数据量(D) 是 89.5B，与实验近似，参考：

$$\begin{array}{rl}D& =(1.23\times 10^2)\times C^{0.422}\\ D& =1.23\times 10^2\times (1\times 10^{21}{)}^{0.422}\\ & =89.5\times 10^9\\ & \approx 89.5B\end{array}$$

在 $C=1\times 10^{21}$ 时，在蛋白质生成领域 CLM 的 Scaling Laws，满足：

$$\begin{array}{rl}C& =\alpha \times N\times D\\ \alpha & =\frac{C}{N\times D}\\ & =\frac{1\times 10^{21}}{1.7313\times 10^9\times 89.5\times 10^9}\\ & =6.45363\\ C& =6.45\times N\times D\end{array}$$

同理，推理 MLM 模型，在 $1\times 10^{21}$ 计算量的 Scaling Laws：

$$\begin{array}{rl}N& =(6.19\times 10^{-8})\times C^{0.776}=(6.19\times 10^{-8})\times (1\times 10^{21}{)}^{0.776}=1.224\times 10^9\\ D& =(2.02\times 10^6)\times C^{0.230}=(2.02\times 10^6)\times (1\times 10^{21}{)}^{0.230}=136.57\times 10^9\\ \alpha & =\frac{C}{N\times D}=\frac{1\times 10^{21}}{1.224\times 10^9\times 136.57\times 10^9}=5.98\\ C& =5.98\times N\times D\end{array}$$

如果 计算量C 预算增加 10 倍：

• 对于 CLM 模型的大小增加 4 倍，训练数据增加 3 倍，近似等比例缩放。
• 对于 MLM 模型的大小增加 6 倍，训练数据增加 1.7 倍。

通过 IsoLoss，构建损失值 Loss，与 $C、N、D$ 之间的 Scaling 关系：

$$L(x)={\beta }_x\times x^{{\alpha }_x}$$

进而推导，数据量D 与 参数量N 的关联公式：

$$D(N)=(\frac{{\beta }_N}{{\beta }_D}{)}^{\frac{1}{{\alpha }_D}}\times N^{\frac{{\alpha }_N}{{\alpha }_D}}$$

参数：

例如：1.7B 模型的参数量是 76.19B，注意通过 IsoLoss 与 IsoFLOPs 计算的公式，略有差别，即：

$$D(N)=(\frac{4.835}{7.904}{)}^{\frac{1}{-0.051}}\times (1.7\times 10^9{)}^{\frac{-0.037}{-0.051}}=76.19B$$

2.2 Scaling Laws (MLM and CLM)

评估在相同模型参数情况下，需要 同时优化 CLM 与 MLM 这 2 个目标，总共需要投入的计算资源，规划和管理训练过程，提高训练效率和效果，避免计算资源的不合理分配或浪费。

即在 $N(C_{MLM})=N(C_{CLM})$ 的预估计算量 $C_{MLM}$ 和 $C_{CLM}$，$r(N)$ 表示训练令牌的分配比例，即：

$$\begin{gathered} C_{sum}(N)=C_{MLM}(N)+C_{CLM}(N)=(\frac{N}{6.19\times 10^{-8}}{)}^{\frac{1}{0.776}}+(\frac{N}{1.26\times 10^{-3}}{)}^{\frac{1}{0.578}} \\ r(N)=\frac{D_{MLM}(N)}{D_{CLM}(N)} \end{gathered}$$

求解公式得到：

$$\begin{gathered} N(C_{sum})=1.497\times 10^{-6}\times C_{sum}^{0.703} \\ r(N)=8.449\times 10^3\times N^{-0.392} \end{gathered}$$

参考 IsoLoss，模型 参数量N 是10B，数据量的比例是1:1。即

$$r(10B)=8.449\times 10^3\times (10\times 10^9{)}^{-0.392}=1$$

例如：模型大小 1.7B 需要的计算量，即：

$$C_{sum}(N)=(\frac{1.7\times 10^9}{6.19\times 10^{-8}}{)}^{\frac{1}{0.776}}+(\frac{1.7\times 10^9}{1.26\times 10^{-3}}{)}^{\frac{1}{0.578}}=2.496\times 10^{21}$$

例如：计算量C是 $2.5\times 10^{21}$，最优模型规模是 $1.65B$，最优数据量是 $252B$，即：

$$\begin{array}{rl}N& =1.497\times 10^{-6}\times (2.5\times 10^{21}{)}^{0.703}=1.652\times 10^9\approx 1.652B\\ r& =8.449\times 10^3\times (1.652\times 10^9{)}^{-0.392}=2.057\\ D& \approx \frac{C}{6\times N}=\frac{2.5\times 10^{21}}{6\times 1.652\times 10^9}=252\times 10^9\approx 252B\\ D_{MLM}& =252\times \frac{2}{3}\times 10^9=168B\\ D_{CLM}& =252\times \frac{1}{3}\times 10^9=84B\end{array}$$

C 与 N 的相关性，参考：

其他，Decoder 的不同模型参数，用于计算 Scaling Laws，即：