一、网络架构

• 一个神经网络一般可以分成两块
  • 特征抽取，将原始像素变成容易线性分割的特征。
  • 线性分类器来做分类。

二、训练

• 是一个目标数据集上的正常训练任务，
  但使用更强的正则化
  • 使用更小的学习率
  • 使用更少的数据迭代
• 源数据集远远复杂于目标数据集的话，通常微调效果更好

三、固定一些层

• 神经网络通常学习有层次的特征表示
  • 低层次的特征更加通用
  • 高层次的特征和数据集相关
• 可以固定底部的一些层的参数，不参与更新

总结

• 微调通过使用在大数据上得到的预训练好的模型来初始化模型权重来完成提升精度。
• 预训练模型质量很重要
• 微调通常速度更快，精度更高