机器学习中常用的模型评价指标

本文介绍一些模型中常用的评价模型准确性的指标

参考：

  • Various ways to evaluate a machine learning model’s performance
  • Evaluation Criteria for Machine Learning Models

本文针对回归问题和分类问题的不同，介绍对应的一些模型指标

回归问题

Mean Absolute Error (MAE)

它是预测值与实际值的绝对差b/w的平均值。取绝对值以消除负值的影响
MAE = Absolute value(summation of (actual value — predicted value)))

Mean Squared Error (MSE)

预测值与实际值的方差
MSE = Square of (summation of (actual value — predicted value))

Root mean squared error (RMSE)

它是预测值与实际值之差的平方的平方根。由于均方根误差(RMSE)中数值的平方，实际和预测的输出差b/w看起来非常大，因此在均方根误差(RMSE)中，将单位的平方根转换回原始值。
RMSE = Square root of (Square of (summation of (actual value — predicted value)))

R square

R平方提供了一组预测值与实际值的拟合优度，因此可以对所有的线性回归模型进行计算
R square = 1 — MSE(model)/ MSE (Baseline model)

Adjusted R square

到目前为止，我们已经看到R平方是预测值的拟合优度，这意味着R平方的值越高，预测模型越好，但R平方有一个问题。R平方值总是增加(或保持相同)后,在模型中添加新特征,因为你在模型中添加的任何特这个表格会有一些影响的预测价值随机或逻辑上R平方继续增加。
因此，为了解决这个问题，提出了Adjusted R Square
Adjusted R square = 1 — (1- R square) [(n — 1)/(n — k+1)]
其中，n是值得数量，k是特征数量

分类问题

Confusion Matrix

对于二元分类问题，假设我们要找出一张图片是猫还是狗。或者患者患有癌症(阳性)或被发现健康(阴性)。一些需要明确的常用术语是:
True Positive(TP):预测的阳性和实际的阳性。
False Positive(FP):预测为阳性，实际为阴性。
True Negative(TN):预测为负值，实际上也是负值。
False Negative(FN):预测为阴性，实际为阳性。

Accuracy

最常用的指标，正确样本个数除以总样本个数
Accuracy = (TP + TN)/(TP + TN + FP + FN)

Precision

这是一个ML模型在所有实际阳性结果(Tue阳性+假阳性)中正确预测阳性结果(真阳性)的数量
Precision = TP/ TP + FP

AUC-ROC

它被称为受试者工作特征下面积曲线(ROC)。它是真实阳性率(TPR)和假阳性率(FPR)在不同的概率阈值下的图，计算来预测类别标签。现在我们来看看更详细的内容:
True Positive Rate (TPR) = TP/ TP + FP
False Positive Rate (FPR) = FP/ FP + TN

  • 用于平衡类的二元分类问题，即当两个二元类(Yes/No)的观测数大致相等时
  • 提供不同阈值的模型摘要
  • 可用于比较两种不同阈值的模型

Recall

这是所有预测的阳性结果(TP+FN)中正确预测的结果(TP)的数量。
Recall = TP/ TP + FN

F1 Score

F1 = 2 / [1/ recall x 1/precision]
我们应该在什么时候使用这个评价标准:
·当准确度和召回率对输出都很重要时
·用于不平衡类的二元分类问题(当是或否的值与其他值相比非常小，例如信用卡交易中的欺诈)
总之，有很多评估标准可以检查ML算法的准确性，这样您就可以根据可用的超参数对算法进行微调。

相关

标签