知方号

知方号

模型评价(AUC,ROC曲线,ACC, 敏感性, 特异性,精确度,召回率,PPV, NPV, F1)<混淆矩阵灵敏度>

 

目录

混淆矩阵

精确率 / precision / PPV / 查准率

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

ROC曲线

AUC(Area under the ROC curve)

cut-off点

计算步骤如下:

参考文献:

 

混淆矩阵

混淆矩阵包含四部分的信息:

True negative(TN),称为真阴率,表明实际是负样本预测成负样本的样本数False positive(FP),称为假阳率,表明实际是负样本预测成正样本的样本数False negative(FN),称为假阴率,表明实际是正样本预测成负样本的样本数True positive(TP),称为真阳率,表明实际是正样本预测成正样本的样本数

对照着混淆矩阵,很容易就能把关系、概念理清楚,但是久而久之,也很容易忘记概念。不妨我们按照位置前后分为两部分记忆,前面的部分是True/False表示真假,即代表着预测的正确性,后面的部分是positive/negative表示正负样本,即代表着预测的结果,所以,混淆矩阵即可表示为正确性-预测结果的集合。现在我们再来看上述四个部分的概念(均代表样本数,下述省略):

TN,预测是负样本,预测对了FP,预测是正样本,预测错了FN,预测是负样本,预测错了TP,预测是正样本,预测对了

 

 

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

而召回率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。那也有两种可能,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN)。

                      R = TP/(TP+FN)  

精确率 / precision / PPV / 查准率

精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是对的。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP)。

                      P = TP/(TP+FP)

特异性 / specificity

样本中的负类被预测为负类的比例

 

ROC曲线

事实上,要一下子弄清楚什么是AUC并不是那么容易,首先我们要从ROC曲线说起。对于某个二分类分类器来说,输出结果标签(0还是1)往往取决于输出的概率以及预定的概率阈值,比如常见的阈值就是0.5,大于0.5的认为是正样本,小于0.5的认为是负样本。如果增大这个阈值,预测错误(针对正样本而言,即指预测是正样本但是预测错误,下同)的概率就会降低但是随之而来的就是预测正确的概率也降低;如果减小这个阈值,那么预测正确的概率会升高但是同时预测错误的概率也会升高。实际上,这种阈值的选取也一定程度上反映了分类器的分类能力。我们当然希望无论选取多大的阈值,分类都能尽可能地正确,也就是希望该分类器的分类能力越强越好,一定程度上可以理解成一种鲁棒能力吧。 为了形象地衡量这种分类能力,ROC曲线横空出世!如下图所示,即为一条ROC曲线(该曲线的原始数据第三部分会介绍)。现在关心的是:

横轴:False Positive Rate(假阳率,FPR) / 1-特异性纵轴:True Positive Rate(真阳率,TPR) / TPR / 灵敏度 /  敏感性 / sensitive / 召回率 / Recall

 

 

假阳率,简单通俗来理解就是预测为正样本但是预测错了的可能性,显然,我们不希望该指标太高。

FPR=FPTN+FP

真阳率,则是代表预测为正样本但是预测对了的可能性,当然,我们希望真阳率越高越好。

TPR=TPTP+FN

显然,ROC曲线的横纵坐标都在[0,1]之间,自然ROC曲线的面积不大于1。现在我们来分析几个特殊情况,从而更好地掌握ROC曲线的性质:

(0,0):假阳率和真阳率都为0,即分类器全部预测成负样本(0,1):假阳率为0,真阳率为1,全部完美预测正确,happy(1,0):假阳率为1,真阳率为0,全部完美预测错误,悲剧(1,1):假阳率和真阳率都为1,即分类器全部预测成正样本TPR=FPR,斜对角线,预测为正样本的结果一半是对的,一半是错的,代表随机分类器的预测效果

于是,我们可以得到基本的结论:ROC曲线在斜对角线以下,则表示该分类器效果差于随机分类器,反之,效果好于随机分类器,当然,我们希望ROC曲线尽量除于斜对角线以上,也就是向左上角(0,1)凸。

 

AUC(Area under the ROC curve)

ROC曲线一定程度上可以反映分类器的分类效果,但是不够直观,我们希望有这么一个指标,如果这个指标越大越好,越小越差,于是,就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

AUC = 1,代表完美分类器0.5 < AUC < 1,优于随机分类器0 < AUC < 0.5,差于随机分类器

 

cut-off点

可以通过到(0,1)点的最小距离确定

 

计算步骤如下: 得到结果数据,数据结构为:(输出概率,标签真值)对结果数据按输出概率进行分组,得到(输出概率,该输出概率下真实正样本数,该输出概率下真实负样本数)。这样做的好处是方便后面的分组统计、阈值划分统计等对结果数据按输出概率进行从大到小排序从大到小,把每一个输出概率作为分类阈值,统计该分类阈值下的TPR和FPR微元法计算ROC曲线面积、绘制ROC曲线

 

 

 

参考文献:

统计学习方法,李航

机器学习,周志华

https://segmentfault.com/a/1190000010410634

https://blog.csdn.net/u012089317/article/details/52156514

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lizi9903@foxmail.com举报,一经查实,本站将立刻删除。