总结:
- 标签为 One-hot 编码的多分类问题,用分类交叉熵
- 对于标签为整数的多分类问题,用稀疏分类交叉熵
稀疏分类交叉熵内部会将整数标签转换为 One-hot 编码,而如果标签已经是 One-hot 编码的形式,再使用稀疏分类交叉熵就会多此一举。
算例
假设我们有三个类别:A、B 和 C。对于某个样本,其真实标签为 B。
使用 One-hot 编码,标签表示为:
- A: [1, 0, 0]
- B: [0, 1, 0]
- C: [0, 0, 1]
设模型输出的预测概率为:
- A: 0.1
- B: 0.7
- C: 0.2
则预测概率的向量为 [0.1, 0.7, 0.2]
--分类交叉熵
其中p是真实分布(One-hot 编码),q是预测分布,
H=−[0,1,0]⋅l