21.8.2更新平衡精度（Balanced-Accuracy）、TPR、TNR、AUC和ROC曲線
目錄
- 1、常見的幾種預測情況
- 2、精确率和召回率（Precision And Recall）
- 3、F1-分數（F1-Score）
- 4、其他常見性能評價名額
- 5、平衡精度（Balanced Accuracy）
- 6、AUC
- 參考
1、常見的幾種預測情況
TP ,True Positive,表示把正類預測為正類
TN,True Negative,表示把負類樣本預測為負類
FP,False Positive,表示把負類預測為正類
FN,False Negative,表示把正類預測為負類。
這個是需要記憶的。T代表正确預測，F代表錯誤預測。P代表正類，N代表負類。
“狼來了”的故事模型
2、精确率和召回率（Precision And Recall）
精确度/精确率（Precision）是針對預測結果而言的，表示預測為正的樣本中真正的正樣本占比。預測為正分兩種情況，一種是把正類預測為正類(TP)，另一種是把負類預測為正類(FP)，即
召回率/真陽性率（Recall）是針對原來的樣本而言的，表示樣本中的正類有多少被預測正确了。同樣分兩種情況，一種是把原來的正類預測成正類(TP)，另一種就是把原來的正類預測為負類(FN)，即
要全面評估模型的有效性，必須同時檢查精确率和召回率。遺憾的是，精确率和召回率往往是此消彼長的情況。也就是說，提高精确率通常會降低召回率值。
3、F1-分數（F1-Score）
精确率(Precision)和召回率(Recall)評估名額,理想情況下做到兩個名額都高當然最好，但一般情況下，Precision高，Recall就低，Recall高，Precision就低。
是以在實際中常常需要根據具體情況做出取舍，例如一般的搜尋情況，在保證召回率的條件下，盡量提升精确率。而像癌症檢測、地震檢測、金融欺詐等，則在保證精确率的條件下，盡量提升召回率。
引出了一個新的名額F-score,綜合考慮Precision和Recall的調和值。
· 當β=1時，稱為 F1-score或者 F1-Measure，這時，精确率和召回率都很重要，權重相同。
· 當有些情況下，我們認為精确率更重要些，那就調整β的值小于1，
· 如果我們認為召回率更重要些，那就調整β的值大于1。
常見的F1分數**(F1-Score**)計算公式如下：
舉個例子：某地區新冠病毒檢查資料樣本有10000個，其中5個樣本核酸檢測呈陽性，其它多次檢測都是陰性。假設分類模型在多次檢測都是陰性的資料9995中預測正确了9990個，在5個核酸檢測呈陽性資料中預測正确了4個，此時TP（正->正）=4，TN（負->負）=9990，FP(負->正)=5，FN(正->負)=1。
注：這裡正類表示核酸檢測呈陽性，負類表示多次檢測呈陰性。
根據準确度（準确率），精确率和召回率的計算公式：
Accuracy = (4+9990) /10000=99.94%
Precision = 4/(4+5)= 44.44%
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13%
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%
4、其他常見性能評價名額
正确率/準确度(Accuracy)表示正負樣本被正确分類的比例
虛警率（False alarm）表示負類樣本被分為正類樣本比例。
對應上述的例子就是1/5,20%
漏警率表示（Missing alarm）表示正類樣本被分為負類樣本的比例。
對應上述的例子就是5/9995,0.05%
5、平衡精度（Balanced Accuracy）
補充 ：其實TPR就是召回率。
TNR（True Negative Rate）可以了解為所有負類中，有多少被預測成負類 （負類預測正确），給出定義如下：
說完這兩個概念以後，我們來了解平衡精度，它的提出是為了解決異常檢測問題中樣本資料不均衡的問題。試想如果一個異常檢測任務的異常樣本占比很小很小（比如0.1%）,那麼全部樣本預測為負，準确率就達到了99.9%，這樣顯然不能達到我們檢測的目标，因為正類本來就少還沒檢測出來。
6、AUC
同樣是為了規避樣本不均勻帶來的問題，AUC是通過以虛警率FPR為X軸，召回率TPR為y軸所繪制的ROC曲線下的面積。
還是異常檢測的例子，如果使用AUC，把所有樣本預測為負例，TPRate和FPRate同時為0（沒有Positive），與(0,0) (1,1)連接配接，得出AUC僅為0.5，成功規避了樣本不均勻帶來的問題。
參考
1.https://blog.csdn.net/sinat_35821976/article/details/81334181
2.https://blog.csdn.net/And_ZJ/article/details/105917794
3.http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
4.https://www.cnblogs.com/wushaogui/p/9146049.html
5.https://blog.csdn.net/saltriver/article/details/74012163
6.https://blog.csdn.net/zhq9695/article/details/82909967
7.https://blog.csdn.net/shiyuzuxiaqianli/article/details/99706843
8.https://www.zhihu.com/question/39840928