softmax回归

一、理论知识

• 回归估计一个连续值
• 分类预测一个离散类别
  回归
• 单连续数值输出
• 自然区间R
• 跟真实值的区别作为损失
  
  分类
• 通常多个输出
• 输出i是预测为第i类的置信度
  
  一般我们使用交叉熵用来衡量两个概率的区别
  
  将它作为损失
  
  其梯度是真实概率和预测概率的区别：
  
  其梯度是真实概率和预测概率的区别
  损失函数
  (1)L2 Loss
  
  (2)L1 Loss
  
  (3)Huber’s Robust Loss
  
  优点：当预测值与真实值相差较远时候，梯度还是按照均匀的变化，在比较靠近的时候，梯度绝对值会变小，保证优化比较平滑。

图像分类数据集

MNIST数据集是图像分类中广泛使用的数据集之一，但其较为简单，我们将使用Fashion-MNIST数据集