機器學習中準确率、精确率、召回率、誤報率、漏報率、F1-Score、AP&mAP、AUC、MAE、MAPE、MSE、RMSE、R-Squared等名額的定義和說明一、名稱解釋二、分類名額的定義和說明（準确率、精确率、召回率、誤報率、漏報率）三、分類名額間的關系四、分類綜合名額（F1-Score、AP&mAP、AUC）

        在機器學習和深度學習用于異常檢測（Anomaly detection）、電子商務（E-commerce）、資訊檢索（Information retrieval, IR）等領域任務（Task）中，有很多的名額來判斷機器學習和深度學習效果的好壞。這些名額有互相權衡的，有互相背向的，是以往往需要根據實際的任務和場景來選擇衡量名額。本篇博文對這些名額進行一個梳理。

一、名稱解釋

1、真實值actual value和預測值predicted value

        這兩者就是字面的意思，actual value是指真實記錄的已發生的測量結果值，而predicted value是指對未發生的預測值。這裡的值既可以是數值型，也可以是類别型。

2、真True、假False

        這兩個表示的是真實值與預測值之間是否吻合，true表示的是預測值與真實值一緻，而false表示的是預測值與真實值不一緻。

3、陽性Positive（正）、陰性Negative（負）

        首先這裡讨論的positive和negative不代表性别的取向，同時正和負也不代表正确或者錯誤。positive指條件或者事物存在，而negative指條件或者事物不存在。例如異常檢測領域陽性positive代表存在異常，陰性negative代表不存在異常；如健康領域陽性positive代表檢測存在病毒或者疾病，陰性negative代表檢測結果是健康的。再如電子商務領域陽性positive代表點選或者成交，陰性negative代表未點選或者未成交。

4、曝光List、點選Click、加收藏Wish/加關注Follow、加購Cart、訂單Order、支付Pay

        這幾項名稱往往用于網絡内容或者電商領域，代表的是一則内容或者一個商品從展現給使用者到使用者消費該内容或者商品的過程。含義就是由字面代表的意思。

二、分類名額的定義和說明（準确率、精确率、召回率、誤報率、漏報率）

        首先看下面這張圖，裡面對部分名額做了定義。接下來對各個名額的定義和說明進行闡述：

        如上圖，将樣例（樣本，後面兩者混用）分為陽性（正，後面兩者混用）樣例

和陰性（負，後面兩者混用）樣例

，将正樣本預測為正樣本的為True positive（

），正樣本預測為負樣本的為False negative（

），負樣本預測為正樣本的為False positive（

），負樣本預測為負樣本的為True negative（

）。是以有：

，

。

1、準（正）确率accuracy

        反映分類器或者模型對整體樣本判斷正确的能力，即能将陽性（正）樣本positive判定為positive和陰性（負）樣本negative判定為negative的正确分類能力。值越大，性能performance越好

        這裡注意，在負樣本占絕對多數的場景中，不能單純追求準确率，因為将所有樣本都判定為負樣本，這種情況下準确率也是非常高的。

2、精确率precision

        反映分類器或者模型正确預測正樣本精度的能力，即預測的正樣本中有多少是真實的正樣本。值越大，性能performance越好

        這裡注意，單純追求精确率，會造成分類器或者模型少預測為正樣本，這時

低，即精确率就會很高。

3、召回率recall，也稱為真陽率、命中率（hit rate）

        反映分類器或者模型正确預測正樣本全度的能力，增加将正樣本預測為正樣本，即正樣本被預測為正樣本占總的正樣本的比例。值越大，性能performance越好

        這裡注意，單純追求召回率，會造成分類器或者模型基本都預測為正樣本，這時

低，即召回率就會很高。

4、誤報率false alarm，也稱為假陽率、虛警率、誤檢率

        反映分類器或者模型正确預測正樣本純度的能力，減少将負樣本預測為正樣本，即負樣本被預測為正樣本占總的負樣本的比例。值越小，性能performance越好

5、漏報率miss rate，也稱為漏警率、漏檢率

        反映分類器或者模型正确預測負樣本純度的能力，減少将正樣本預測為負樣本，即正樣本被預測為負樣本占總的正樣本的比例。值越小，性能performance越好

6、特異度specificity

        反映分類器或者模型正确預測負樣本全度的能力，增加将負樣本預測為負樣本，即負樣本被預測為負樣本占總的負樣本的比例。值越大，性能performance越好

三、分類名額間的關系

        由上述名額的定義，可以得到如下的一些名額間的關系：

，即召回率+漏報率=1，

，即特異性+誤報率=1.

四、分類綜合名額（F1-Score、AP&mAP、AUC）

1、F1-Score

        首先看下F值，該值是精确率precision和召回率recall的權重調和平均。值越大，性能performance越好。F值可以平衡precision少預測為正樣本和recall基本都預測為正樣本的單次元名額缺陷。計算公式如下：

        常用的是F1-Score，即a=1，是以上述公式轉化為：

2、AP&mAP

        AP表示precision-recall曲線下的面積，mAP是mean average precision的簡稱，是各類别AP的平均值。

        面積求積分一般轉為離散的矩形面積計算，如上圖下邊圖形所示。計算公式如下：

,

3、AUC

        一般選取一個特定閥值（threshold），預測為正樣本的機率大于等于該閥值判定為正樣本，小于該閥值判定為負樣本。根據上面描述的公式得到召回率TPR和誤報率FPR，在平面上描述對應的坐标點和值，就得到如下的ROC曲線，其中TPR為縱軸，FPR為橫軸。

        ROC曲線裡，左下角（0, 0）閥值是最大的，此時所有樣本都判定為負樣本，是以有

.

        右上角（1, 1）閥值是最小的，此時所有樣本都判定為正樣本，是以有

        那麼從左下角到右上角移動過程中，随着閥值的逐漸減小，越來越多的正樣本會被判定為正樣本，但也伴随着負樣本被判定為正樣本。是以TPR和FPR都會增大。當然最佳的閥值是接近左上角，TPR=1和FPR=0，TPR大于FPR的最大機率。

        而ROC曲線向下覆寫的面積（上圖中淺綠部分）即為AUC值。AUC取值為[0, 1]，值越大，性能performance越好。假設随機挑選一個正樣本和一個負樣本，分類器或者模型計算得到相應的分值score。如果AUC值越大，那麼根據計算分值将樣本排序後，實際上排在前面的樣本是正樣本的機率也是越大（就是分類器或者模型輸出正樣本為正樣本的比輸出負樣本為正樣本要大的機率，即AUC值

）。AUC值的計算有好幾種方法：

        1）、按定義計算ROC曲線下的面積

        2）、

        其中，

為正樣本的數量，

為負樣本的數量，

為一個正樣本與一個負樣本的樣本對的數量。按計算分值score從小到大排序，分值最大score對應的樣本的

，第二大分值score對應的樣本的

，依次類推。如果計算分值score相等，則相等得分的rank取平均值。

        AUC的計算方法已經同時考慮了分類器或者模型對于正樣本和負樣本的分類能力。是以即使訓練樣本存在不平衡，AUC名額依然能對分類器或者模型作出合理的評價。

五、回歸名額的定義和說明（MAE、MSE、RMSE、R-Squared）

        這裡的回歸指回歸問題和模型，如線性回歸Linear Regression，決策樹Decision Tree Regression，随機森林Random Forest Regression，深度學習RNN等等。

1、平均絕對誤差mean absolute error（MAE）

        使用的是資料的偏差的絕對值，計算公式如下：

        其中

為真實值，

為回歸預測值，

為回歸的資料個數。值越小，性能performance越好

        這裡注意，絕對值的計算因為不是處處可導，不友善用來當求極值

的目标。

2、平均絕對百分比誤差mean absolute percentage error（MAPE）

        将MAE的絕對值轉化為相對值，計算公式如下：

為回歸的資料個數。注意由于這裡用了

作為分母，是以當測量真實值有資料為0時，即存在分母為0的情況，該名額公式就不可用了。值越小，性能performance越好

3、對稱平均絕對百分比誤差symmetric mean absolute percentage error（SMAPE）

        将MAE的絕對值轉化為相對值，分母使用真實值和預測值的平均值，計算公式如下：

為回歸的資料個數。SMAPE差別MAPE的是分母由

改為

和

的平均值。同樣地，由于這裡用了

作為分母，是以當測量真實值加預測值有資料為0時，即存在分母為0的情況，該名額公式就不可用了。值越小，性能performance越好

4、均方誤差mean squared error（MSE）

        使用的是資料的偏差的平方和，計算公式如下：

為回歸的資料個數。注意該公式也用于回歸的損失函數，并且可導（MAE絕對值不是處處可導的），即最小化均方誤差。值越小，性能performance越好

5、均方根誤差root mean squared error（RMSE）

        使用的是資料的偏差的平方和再求根号，計算公式如下：

為回歸的資料個數。其實是均方誤差MSE開根号得到的，實質跟均方誤差MSE是一樣的。主要用于降低均方誤差的數量級，防止均方誤差MSE看起來很大。RMSE和MAE的數量級基本相同了，但RMSE會比MAE大一些，RMSE懲罰了預測誤差大的資料點。關于用RMSE還是MAE，有比較多的讨論（Willmott et al., 2005, 2009）、（Chai, 2014），跟使用場景的資料分布等相關。當然求得的回歸曲線RMSE值越小，反映求得曲線的最大誤差也是較小的。是以RMSE值越小，性能performance越好

6、R方R Squared

        因為MAE、MSE、RMSE的衡量不存在一個區間範圍，是以定義了R方這個名額，計算公式如下：

為真實值的平均值，

為回歸的資料個數。

表示殘差的平方和（residual sum of squares，即模型的預測誤差的平方和），

表示預測值都為

的殘差的平方和（total sum of squares）。取值範圍

表示預測模型在每一個測量資料

上都預測完全正确，

表示等價于平均值預測法，

表示預測模型比平均值預測法還差。值越大，性能performance越好

六、場景相關說明

        為什麼要定義這麼多名額，準确率和精确率不看公式定義，還容易弄混。這是因為不同的場景強調不同的分類能力，例如有的場景不希望正樣本漏掉，有的場景不希望誤報。是以機器學習和模式識别得到的分類器或者模型，就需要有不同的名額了。

1、異常檢測

        異常檢測是一個非常追求召回率，同時也強調準确率的領域（如準确率>85%，召回率>99%）。那麼召回率是否一定要做到100%呢？這要看成本與召回率提升所帶來的收益了。舉個例子，金融銀行的信用卡申請欺詐。金融銀行A收到10,0000份信用卡的申請，其中有100份是欺詐的，檢測出99份的欺詐申請了，其餘的被判定是無欺詐的。是以召回率為：

        準确率為：

        此時是否必須要等另一份欺詐申請檢測出來才能發放信用卡呢，應該是金融系統會評估這一份“欺詐申請”帶來的損失（如額度10000元的損失）是否小于通過“其他無欺詐信用卡申請”帶來的收益。

2、電子商務

        舉個例子，電商廣告100個投放，其中使用者會點選的正樣本為1個，其餘為使用者不點選的負樣本（不平衡資料集）。如果分類器簡單地将樣本都分為負樣本，準确率為

        準确率非常高，但顯然沒有意義。這些場景裡分類器會追求廣告轉化過程中的名額，如對應曝光名額的有：

        1）千次曝光費用cost-per-mille（cpm=一千次曝光的費用），

        2）機關時間費用cost-per-time（cpt=機關時間的費用），

        3）每天費用cost-per-day（cpd=一天的費用）。

        對應點選名額的有：

        1）點選通過率click-through-rate（點選率ctr=投放廣告被點選的次數/廣告總的曝光次數），

        2）每次點選費用cost-per-click（cpc=一定時間内總費用/廣告總的點選次數）。

        對應轉化名額的有：

        1）轉化率conversion-rate（cvr=投放廣告的轉化次數/廣告的點選次數），這裡的轉化可以是商品購買、應用app下載下傳、注冊、地産推廣使用者登記報名等，

        2）每次行為費用cost-per-action（cpa=一定時間内總費用/廣告總的行為次數），這裡行為可以是下載下傳、注冊、使用者登記報名等，一般不付費，

        3）每次下載下傳費用cost-per-download（cpd=一定時間内總費用/廣告産生的下載下傳量），

        4）每次安裝費用cost-per-install（cpi=一定時間内總費用/廣告産生的安裝量），

        5）每次購買費用cost-per-sales（cps=一定時間内總費用/廣告産生的銷售量），這裡是購物類的商品産生了具體的銷售。

        對應成本核算名額的有：

        1）投資回報率return-on-investment（ROI=廣告産生價值/廣告總的費用），這裡廣告産生價值可以是廣告産生利潤、廣告産生銷售額等。

3、資訊檢索

        資訊檢索是一個同時追求召回率recall和精确率precision的領域，即mAP名額（Tan et al., 2006）。另外還有名額TopN的精确率（Pr@N=topN中的點選數/N）用來衡量在曝光有限情況下的效果，因為人們浏覽檢索結果的頁數與數量是有限的。常用的如：

        其他的根據使用者平均能浏覽的深度，如10個，還有Pr@10等名額。

4、化工故障檢測

        在化工故障檢測領域中，用故障檢測率fault detection rate（即召回率recall）和誤報率false alarm rate來反映效果的好壞。當故障細化到某一個具體的類别時，有故障A1的故障檢測率：

        如上表中（Zhang et al., 2018），21個故障類别的故障檢測率。如果不标記具體類别，指的是平均故障檢測率（mean fault detection rate），即各個故障類别檢測率的平均值。

5、信号分析

        舉個例子，軍艦雷達收到100個水雷來襲的信号，其中真正的水雷來襲信号為3個，其餘97個是迷惑性的敵方模拟信号。假如分類器将2個真正的水雷來襲信号判定為正樣本，其餘98個信号判定為負樣本（1個正樣本+97個負樣本）。這種情況下，準确率：

        精确率：

        可以看到準确率和精确率都非常高，我們再計算下其他名額，召回率：

        誤報率：

        漏報率：

        可以看到誤報率為0，非常好。但漏報率很高，這漏掉的水雷可能造成軍艦沉沒。是以這個場景裡，漏報是緻命的。那反過來說，把漏報率做成0，分類器簡單地把所有信号都判定為正樣本，實作非常簡單，是不是就是最好的？顯然不是，一般收到警報是要動員，準備應對和反擊的，如果誤報率很高，不停的動員，最後大家都累死了，也容易造成“狼來了”的漠視态度。是以這個場景裡分類器要追求漏報率為0，但誤報率也要控制在很小的範圍内。

引用

        【1】Wikipedia：Sensitivity and specificity

        【2】

http://en.wikipedia.org/wiki/Precision_and_recall

        【3】

http://en.wikipedia.org/wiki/Accuracy_and_precision

        【4】T. Fawcett. An introduction to ROC analysis. Pattern Recognition Letters. 27(8): 861–874, 2006

        【5】C. Willmott, and K. Matsuura. Advantages of the Mean Abso-lute Error (MAE) over the Root Mean Square Error (RMSE) in assessing average model performance. Clim. Res., 30, 79–82, 2005

        【6】C. J. Willmott, K. Matsuura, and S. M. Robeson. Ambiguities inherent in sums-of-squares-based error statistics. Atmos. Env-iron., 43, 749–752, 2009

        【7】T. Chai. Root mean square error (RMSE) or mean absolute error (MAE). Geoscientific Model Development discussions. 7(1), 1247-1250, 2014

        【8】B. Tan, X. Shen, and C. Zhai. Mining long-term search history to improve search accuracy. Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. Pages 718-723, 2006

        【9】X. Zhang, M. Kano, and Y. Li. Principal Polynomial Analysis for Fault Detection and Diagnosis of Industrial Processes. IEEE Access. vol. 6, 52298-52307, 2018