文章目录
- 1 量化感知训练
- 1.1 QAT的核心思想
- 1.2 QAT的工作原理
- 1.2.1 第一个维度
- 1.2.2 第二个维度
- 2 大模型的1-bits时代BitNet
- 2.1 BitLinear层
- 2.2 权重量化
- 2.3 激活量化
- 2.4 反量化
- 3 大模型处于1.58Bits状态
- 3.1 零值的作用
- 3.2 量化
- 3.3 效果
- 4 参考附录
1 量化感知训练
PTQ方法的一个缺点是，这种量化并未考虑实际的训练过程。如前所述，在推理时通过量化将weights和activations压缩为8位或更低的精度(如4位或2位)，会带来模型精度的损失。
这就是量化感知训练(Quantization Aware Training, QAT)发挥作用的地方。
1.1 QAT的核心思想
与使用训练后量化(Post-Training Quantization, PTQ)不同，QAT通过在模型训练过程中模拟低精度计算(如 8位整数计算)来减少推理阶段的精度损失。
QAT的核心思想是让模型在训练过程中意识到量化带来的误差，以便更好地适应量化后的环境。
在量化感知训练过程中，模型的权重和激活在前向传播时会被模拟量化，而反向传播时则继续使用高精度的浮点数进行梯度更新。
这种方法既能保持训练的精度，又能让模型意识到推理阶段量化带来的误差，从而在反向传播中对权重的优化过程中进行误差补偿。
QAT往往比PTQ更精确，因为在训练过程中已经考虑了量化。
