21.8.2更新平衡精度（Balanced-Accuracy）、TPR、TNR、AUC和ROC曲线
目录
- 1、常见的几种预测情况
- 2、精确率和召回率（Precision And Recall）
- 3、F1-分数（F1-Score）
- 4、其他常见性能评价指标
- 5、平衡精度（Balanced Accuracy）
- 6、AUC
- 参考
1、常见的几种预测情况
TP ,True Positive,表示把正类预测为正类
TN,True Negative,表示把负类样本预测为负类
FP,False Positive,表示把负类预测为正类
FN,False Negative,表示把正类预测为负类。
这个是需要记忆的。T代表正确预测，F代表错误预测。P代表正类，N代表负类。
“狼来了”的故事模型
2、精确率和召回率（Precision And Recall）
精确度/精确率（Precision）是针对预测结果而言的，表示预测为正的样本中真正的正样本占比。预测为正分两种情况，一种是把正类预测为正类(TP)，另一种是把负类预测为正类(FP)，即
召回率/真阳性率（Recall）是针对原来的样本而言的，表示样本中的正类有多少被预测正确了。同样分两种情况，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)，即
要全面评估模型的有效性，必须同时检查精确率和召回率。遗憾的是，精确率和召回率往往是此消彼长的情况。也就是说，提高精确率通常会降低召回率值。
3、F1-分数（F1-Score）
精确率(Precision)和召回率(Recall)评估指标,理想情况下做到两个指标都高当然最好，但一般情况下，Precision高，Recall就低，Recall高，Precision就低。
所以在实际中常常需要根据具体情况做出取舍，例如一般的搜索情况，在保证召回率的条件下，尽量提升精确率。而像癌症检测、地震检测、金融欺诈等，则在保证精确率的条件下，尽量提升召回率。
引出了一个新的指标F-score,综合考虑Precision和Recall的调和值。
· 当β=1时，称为 F1-score或者 F1-Measure，这时，精确率和召回率都很重要，权重相同。
· 当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，
· 如果我们认为召回率更重要些，那就调整β的值大于1。
常见的F1分数**(F1-Score**)计算公式如下：
举个例子：某地区新冠病毒检查数据样本有10000个，其中5个样本核酸检测呈阳性，其它多次检测都是阴性。假设分类模型在多次检测都是阴性的数据9995中预测正确了9990个，在5个核酸检测呈阳性数据中预测正确了4个，此时TP（正->正）=4，TN（负->负）=9990，FP(负->正)=5，FN(正->负)=1。
注：这里正类表示核酸检测呈阳性，负类表示多次检测呈阴性。
根据准确度（准确率），精确率和召回率的计算公式：
Accuracy = (4+9990) /10000=99.94%
Precision = 4/(4+5)= 44.44%
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13%
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%
4、其他常见性能评价指标
正确率/准确度(Accuracy)表示正负样本被正确分类的比例
虚警率（False alarm）表示负类样本被分为正类样本比例。
对应上述的例子就是1/5,20%
漏警率表示（Missing alarm）表示正类样本被分为负类样本的比例。
对应上述的例子就是5/9995,0.05%
5、平衡精度（Balanced Accuracy）
补充 ：其实TPR就是召回率。
TNR（True Negative Rate）可以理解为所有负类中，有多少被预测成负类 （负类预测正确），给出定义如下：
说完这两个概念以后，我们来了解平衡精度，它的提出是为了解决异常检测问题中样本数据不均衡的问题。试想如果一个异常检测任务的异常样本占比很小很小（比如0.1%）,那么全部样本预测为负，准确率就达到了99.9%，这样显然不能达到我们检测的目标，因为正类本来就少还没检测出来。
6、AUC
同样是为了规避样本不均匀带来的问题，AUC是通过以虚警率FPR为X轴，召回率TPR为y轴所绘制的ROC曲线下的面积。
还是异常检测的例子，如果使用AUC，把所有样本预测为负例，TPRate和FPRate同时为0（没有Positive），与(0,0) (1,1)连接，得出AUC仅为0.5，成功规避了样本不均匀带来的问题。
参考
1.https://blog.csdn.net/sinat_35821976/article/details/81334181
2.https://blog.csdn.net/And_ZJ/article/details/105917794
3.http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
4.https://www.cnblogs.com/wushaogui/p/9146049.html
5.https://blog.csdn.net/saltriver/article/details/74012163
6.https://blog.csdn.net/zhq9695/article/details/82909967
7.https://blog.csdn.net/shiyuzuxiaqianli/article/details/99706843
8.https://www.zhihu.com/question/39840928