机器学习/深度学习——模型的评估详解
搭配以下文章进行学习:
卷积神经网络:
深度学习——卷积神经网络(convolutional neural network)CNN详解(一)——概述. 步骤清晰0基础可看
深度学习——卷积神经网络(convolutional neural network)CNN详解(二)——前向传播与反向传播过程(特征提取+预测+反向传播更新参数). 步骤清晰0基础可看
简单的神经网络详解:
深度学习——神经网络(neural network)详解(一). 带手算步骤,步骤清晰0基础可看
深度学习——神经网络(neural network)详解(二). 带手算步骤,步骤清晰0基础可看
梯度下降法:
机器学习/深度学习——梯度下降法(Gradient descent)详解. 步骤清晰 0基础可看
模型的过拟合与欠拟合:
机器学习/深度学习——模型的欠拟合和过拟合,正则化方法详解
(1)混淆矩阵
我们需要先了解如下概念:
它是一个表格,用于描述分类模型的预测结果与实际标签之间的关系。混淆矩阵的基本元素包括:
True Positives (TP): 真正例,模型正确预测为正类的样本数量。
True Negatives (TN): 真负例,模型正确预测为负类的样本数量。
False Positives (FP): 假正例,模型错误预测为正类的样本数量(也称为第一类错误)。
False Negatives (FN): 假负例,模型错误预测为负类的样本数量(也称为第二类错误)。
如下图所示展示了4个指标以及TRP和FPR的概念
总结
评估指标列表
1.Accuracy (准确率)
- 来源:正确分类的样本占总样本的比例
- 作用:衡量模型整体的准确性
- 公式: Accuracy = T P + T N T P + T N + F P + F N \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN
2.Precision (精确度)
- 来源:预测为正类中实际为正类的比例
- 作用:衡量模型预测为正类的准确性
- 公式: Precision = T P T P + F P \text{Precision} = \frac{TP}{TP + FP} Precision=TP+FPTP
3.Recall (召回率, 真正例率)
- 来源:实际为正类中被正确预测的比例
- 作用:衡量模型捕捉所有正类样本的能力
- 公式: Recall = T P T P + F N \text{Recall} = \frac{TP}{TP + FN} Recall=TP+FNTP
4.F1 Score (F1分数)
- 来源:精确度和召回率的调和平均数
- 作用:平衡精确度和召回率,提供一个综合指标
- 公式: F 1 = 2 × Precision × Recall Precision + Recall F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} F1=2×Precision+RecallPrecision×Recall
5.Specificity (特异性, 真负例率)
在计算公式上:Specificity =1-误诊率
- 来源:实际为负类中被正确预测的比例
- 作用:衡量模型对负类的分类能力
- 公式: Specificity = T N T N + F P \text{Specificity} = \frac{TN}{TN + FP} Specificity=TN+FPTN
6.敏感度(Sensitivity, TPR)
在计算公式上:Sensitivity =1-漏诊率
敏感度是真正例(TP)占实际正类(TP + FN)的比例。
T P R = T P T P + F N TPR = \frac{TP}{TP + FN} TPR=TP+FNTP
7.Negative Predictive Value (NPV, 负预测值)
- 来源:预测为负类的样本中实际为负类的比例
- 作用:衡量模型预测为负类的准确性
- 公式: N P V = T N T N + F N NPV = \frac{TN}{TN + FN} NPV=TN+FNTN
8.False Positive Rate (FPR, 假正例率,误诊率)
将得病称为正例(Positive)。
健康称为负例(Negative)。
误诊就是将没有病的人诊断为有病,也就是假正例率。
- 来源:实际为负类中被错误预测为正类的比例
- 作用:衡量模型将负类错误分类为正类的频率
- 公式: F P R = F P T N + F P FPR = \frac{FP}{TN + FP} FPR=TN+FPFP
9.False Negative Rate (FNR, 假负例率,漏诊率)
漏诊就是将有病的人诊断为健康,也就是假负例率。
- 来源:实际为正类中被错误预测为负类的比例
- 作用:衡量模型将正类错误分类为负类的频率
- 公式: F N R = F N T P + F N FNR = \frac{FN}{TP + FN} FNR=TP+FNFN
- AUC-ROC (接收者操作特征曲线下面积)
- 来源:ROC曲线下面积
- 作用:提供一个模型在不同阈值下性能的综合评估
- 公式:通常不直接给出,而是通过计算不同阈值下的TPR和FPR
- AUC-PR (精确率-召回率曲线下面积)
- 来源:PR曲线下面积
- 作用:特别适用于不平衡数据集,提供一个模型性能的综合评估
- 公式:同样不直接给出,通过计算不同阈值下的精确度和召回率