概念理解

$TP$、$TN$、$FP$、$FN$

在这个二分类模型中，只有 是「狗」 或 不是「狗」。

只看模型的预测为「狗」即 $Prediction=Dog$，共有 7 个如绿色方格所示。其中，

• 真实为「狗」且被模型正确预测为「狗」的有 4 个，这就是 $TruePositive=4$（$TP$）；
• 真实不为「狗」但被模型错误预测为「狗」的有 3 个，这就是 $FalsePositive=3$（$FP$）。

只看模型的预测不为「狗」即 $Prediction=NoDog$，共有 3 个如红色方格所示。其中，

• 真实不为「狗」且被模型正确预测不为「狗」的有 1 个，这就是 $TrueNegative=1$（$TN$）；
• 真实为「狗」但被模型错误预测不为「狗」的有 2 个，这就是 $FalseNegative=2$（$FN$）。

精度/正确率（$Accuracy$）

• 误差（$Error$)：学习器的 预测输出 与样本的 真实输出 之间的差异。
• 错误率：错误分类的样本 占据 总样本 的比例。

精度（$Accuracy$）= 1- 错误率，即 正确分类的样本占总样本的比例。

$Accuracy$ 是分类问题中最常用的指标。但是，对于不平衡数据集而言，$Accuracy$ 并不是一个好指标。$Why？$

假设有 100 张图片，其中 98 张图片是「狗」，1 张是「猫」，1 张是「猪」，要训练一个三分类器，能正确识别图片里动物的类别。

• 其中，狗这个类别就是大多数类（$MajorityClass$）。
• 当大多数类中样本（狗）的数量远超过其他类别（猫、猪）时，如果采用 $Accuracy$ 来评估分类器的好坏，那么即便模型性能很差（如无论输入什么图片，都预测为「狗」），也可以得到较高的 $AccuracyScore$（如 98%）。
• 此时，虽然 $AccuracyScore$ 很高，但是意义不大。
• 当数据异常不平衡时，$Accuracy$ 评估方法的缺陷尤为显著。

因此，需要引入 $Precision$ （精准度），$Recall$ （召回率）和 $F1-score$ 评估指标。

考虑到二分类和多分类模型中，评估指标的计算方法略有不同，下面分开讨论。

二分类

在二分类问题中，假设该样本一共有两种类别：$Positive$ 和 $Negative$。

当分类器预测结束，可以绘制出混淆矩阵（$ConfusionMatrix$），如下图，

其中分类结果分为如下几种：

• $TruePositive$（$TP$）：把正样本成功预测为正。
• $TrueNegative$（$TN$）：把负样本成功预测为负。
• $FalsePositive$（$FP$）：把负样本错误预测为正。
• $FalseNegative$（$FN$）：把正样本错误预测为负。

有了混淆矩阵的 $TP$、$TN$、$FP$ 和 $FN$，下面计算 $Precision$、$Recall$ 和 $F1-score$。

查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的计算

• 准确率：关注预测的准确性，在 所有被预测为 $Positive$ 的样本 中，有多少是正确的（有多少 $True$ 的 $Positive$）？
• 召回率：关注预测的全面性，在 所有实际为 $Positive$ 的样本 中，有多少被正确预测了（有多少 $Positive$ 被揪出来了）？

在二分类模型中，$Accuracy$，查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的定义如下：

$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

$$Precision=\frac{TP}{TP+FP}$$

$$Recall=\frac{TP}{TP+FN}$$

$$F1-score=\frac{2\times Precision\times Recall}{Precision+Recall}$$

代入 $TP$、$TN$、$FP$ 和 $FN$ 的数值计算即可，如下：

$$Accuracy=\frac{50+20}{50+20+5+10}=14/17$$

$$Precision=\frac{50}{50+5}=10/11$$

$$Recall=\frac{50}{50+10}=5/6$$

$$F1-score=\frac{2\times \frac{10}{11}\times \frac{5}{6}}{\frac{10}{11}+\frac{5}{6}}=20/23$$

查准率 $Precision$，查全率 $Recall$ 和 $F1-score$ 的理解

• $Precision$ 着重评估：在 预测为 $Positive$ 的所有数据（$TP+FP$）中，真实 $Positive$ 的数据（$TP$）到底占多少？
• $Recall$ 着重评估：在 所有真实为 $Positive$ 数据 （$TP+FN$）中，被 成功预测为 $Positive$ 的数据 （$TP$）到底占多少?

举个例子，一个医院新开发了一套癌症 $AI$ 诊断系统，想评估其性能好坏。把病人得了癌症定义为 $Positive$，没得癌症定义为 $Negative$。那么，到底该用什么指标进行评估呢？

• 如用 $Precision$ 对系统进行评估，那么其回答的问题就是：在诊断为癌症的一堆人中，到底有多少人真得了癌症？
• 如用 $Recall$ 对系统进行评估，那么其回答的问题就是：在一堆得了癌症的病人中，到底有多少人能被成功检测出癌症？
• 如用 $Accuracy$ 对系统进行评估，那么其回答的问题就是：在一堆癌症病人和正常人中，有多少人被系统给出了正确诊断结果？

$OK$，那啥时候应该更注重 $Recall$ 而不是 $Precision$ 呢？

$$Recall=\frac{TP}{TP+FN}$$

当 $FalseNegative$ （$FN$）的成本代价很高（后果很严重），希望尽量避免产生 $FN$ 时，应该着重考虑提高 $Recall$ 指标（$FN$ 越小，$Recall$ 越高）。

在上述例子里，$FalseNegative$ 是得了癌症的病人没有被诊断出癌症，这种情况是最应该避免的。

• 宁可把健康人误诊为癌症 （$FP$），也不能让真正患病的人检测不出癌症 （$FN$） 而耽误治疗离世。

在这里，癌症诊断系统 的目标是：尽可能提高 $Recall$ 值，哪怕牺牲一部分 $Precision$。

$Oho$，那啥时候应该更注重 $Precision$ 而不是 $Recall$ 呢？

$$Precision=\frac{TP}{TP+FP}$$

当 $FalsePositive$ （$FP$）的成本代价很高（后果很严重）时，即期望尽量避免产生 $FP$ 时，应该着重考虑提高 $Precision$ 指标（$FP$ 越小，$Precision$ 越高）。

以垃圾邮件屏蔽系统为例，垃圾邮件为 $Positive$，正常邮件为 $Negative$，$FalsePositive$ 是把正常邮件识别为垃圾邮件，这种情况是最应该避免的。

• 宁可把垃圾邮件标记为正常邮件（$FN$），也不能让正常邮件直接进垃圾箱（$FP$）。>
  垃圾邮件屏蔽系统 的目标是：尽可能提高 $Precision$ 值，哪怕牺牲一部分 $Recall$。

而 $F1-score$ 是 $Precision$ 和 $Recall$ 两者的综合。

$$F1-score=\frac{2\times Precision\times Recall}{Precision+Recall}$$

假设检察机关想要将罪犯逮捕归案，就需要对所有人群进行分析，判断某人是犯了罪（$Positive$）还是没有犯罪（$Negative$）。
显然，检察机关希望既不错过任何一个罪犯（提高 $Recall$），也不错判一个无辜者（提高 $Precision$），因此需要同时考虑 $Recall$ 和 $Precision$ 这两个指标。

• “天网恢恢，疏而不漏，任何罪犯都难逃法网” 更倾向于 $Recall$。
• “宁可放过一些罪犯，也不冤枉一个无辜者” 更倾向于$Precision$。

到底哪种更好呢？显然，$Precision$ 和 $Recall$ 都应该尽可能高，也就是说 $F1-score$ 应该尽可能高。

三分类

从特殊

要开发一个动物识别系统，来区分输入图片是猫，狗还是猪。给定分类器一堆动物图片，产生了如下结果混淆矩阵。

在混淆矩阵中，正确的分类样本（$Actuallabel=Predictedlabel$）分布在 左上到右下的对角线上。

其中，$Accuracy$ 的定义为分类正确（对角线上）的样本数与总样本数的比值。

• $Accuracy$ 度量的是全局样本预测情况。
• 而对于 $Precision$ 和 $Recall$ 而言，每个类都需要单独计算其 $Precision$ 和 $Recall$。

比如，对类别「猪」而言，其 $Precision$ 和 $Recall$ 分别为：

$$Precision=\frac{TP}{TP+FP}=\frac{20}{20+(10+40)}=2/7$$

$$Recall=\frac{TP}{TP+FN}=\frac{20}{20+(0+10)}=2/3$$

总的来说，

$Presicion$ 如下：$$P_{cat}=8/15,P_{dog}=1/23,P_{pig}=2/7$$

$Recall$ 如下：$$R_{cat}=4/7,R_{dog}=17/23,R_{pig}=2/3$$

到一般

$Accuracy$

• $Accuracy$ ：正确分类的样本数 $/$ 所有样本数。
  （即：左上角到右下角的对角线上的样本数之和 $/$ 总样本数 = $\frac{(A,A)+(B,B)+(C,C)}{Total}$）。

$$Accuracy=(15+15+45)/100=0.75$$

$Precision$

对 $A$ 类来说，

• $Precision$：（预测为正确 & 真实为正确）的样本 $/$ 预测为正确的所有样本。
  （即： $(A,A)$ 的值 $/$ $A$ 所在列的 $Tota{l}_{A-column}$ = $\frac{(A,A)}{(A,A)+(B,A)+(C,A)}$）

$$Precision(A)=15/24=0.625$$

$Recall$

• $Recall$：（预测为正确 & 真实是正确）的样本 $/$ 真实是正确的所有样本。
  （即：$(A,A)$ 的值 $/$ $A$ 所在行的 $Tota{l}_{A-line}$ = $\frac{(A,A)}{(A,A)+(A,B)+(A,C)}$）

$$Recall(A)=15/20=0.75$$