蒸馏模型（Distilled Model）是一种通过知识蒸馏（Knowledge Distillation）技术训练得到的轻量级模型，其核心思想是将一个复杂的大模型（称为教师模型）的知识“迁移”到一个更小、更高效的模型（称为学生模型）中。这种方法可以在保持较高性能的同时，显著减少模型的参数量和计算资源需求。
核心原理
- 教师模型（Teacher Model）
教师模型通常是一个参数量大、性能强的复杂模型（例如深度神经网络），但计算成本高，难以部署在资源受限的环境（如移动端）。 - 学生模型（Student Model）
学生模型是一个结构更简单、参数量更少的小模型，目标是模仿教师模型的行为，最终达到接近甚至超越教师模型的性能。 - 知识迁移
通过让学生模型学习教师模型的输出（包括“软标签”和中间特征），传递教师模型学到的类别间关系和泛化能力，而不仅仅是最终的预测结果。
知识蒸馏的关键步骤
- 软标签（Soft Labels）
- 教师模型的输出通常是概率分布（如分类任务中的softmax输出），称为“软标签”。
- 例如，图像分类任务中，教师模型不仅给出类别标签，还会给出各类别的概率（如“猫：0.8，狗：0.15，其他：0.05”）。
- 软标签包含更多信息（如类别间的相似性），比单纯的“硬标签”（如“猫：1，其他：0”）更有助于学生模型学习。
- 温度参数（Temperature Scaling）
- 在softmax中引入温度参数 ( T )，调整概率分布的平滑程度：
- 更高的 ( T ) 会让概率分布更平滑，突出教师模型的隐含知识（例如类别间的关系）。
- 在softmax中引入温度参数 ( T )，调整概率分布的平滑程度：
- 损失函数
- 学生模型需要同时匹配教师模型的软标签（通过KL散度或交叉熵）和真实标签的硬标签：
- 其中，( \mathcal{L}{\text{soft}} ) 是学生与教师输出的差异，( \mathcal{L}{\text{hard}} ) 是学生与真实标签的差异，( \alpha ) 是权重系数。
- 学生模型需要同时匹配教师模型的软标签（通过KL散度或交叉熵）和真实标签的硬标签：
蒸馏模型的优势
- 模型压缩
学生模型参数量少、计算速度快，适合部署在移动端、嵌入式设备或实时系统中。 - 性能保留
通过迁移教师模型的“暗知识”（如数据分布的隐含信息），学生模型性能可能接近甚至超越教师模型。 - 抗过拟合
软标签提供更多信息，帮助学生模型更好地泛化，尤其在训练数据不足时。 - 降低资源消耗
减少训练和推理时的内存、算力需求，符合绿色AI趋势。
典型应用场景
- 自然语言处理（NLP）
- BERT等大型语言模型的蒸馏（如DistilBERT、TinyBERT），用于快速文本推理。
- 计算机视觉（CV）
- 压缩ResNet、VGG等大型模型，适配移动端图像分类任务。
- 边缘计算
- 在手机、IoT设备中部署轻量级模型，实现实时处理（如人脸识别、语音助手）。
蒸馏模型类型和分类
- 典型蒸馏模型
DistilBERT：BERT的压缩版，参数量减少40%，速度提升60%。
TinyBERT：通过层间蒸馏进一步压缩模型。
MobileBERT：专为移动端设计的轻量化BERT。
MiniLM：通用蒸馏框架，支持跨任务迁移。
- 蒸馏方法分类
响应蒸馏（Response Distillation）：直接模仿教师模型的输出概率（如Softmax温度调节）。
特征蒸馏（Feature Distillation）：对齐中间层特征（如隐藏层激活值）。
关系蒸馏（Relation Distillation）：捕捉样本间的关系（如注意力矩阵相似性）。
动态蒸馏（Dynamic Distillation）：在训练过程中动态调整教师模型。
示例
- DistilBERT：参数量减少40%，推理速度提升60%，性能保留BERT的97%。
- TinyML：在微控制器上运行的超小型蒸馏模型，用于传感器数据分析。
- DeepSeek的蒸馏模型系列
