天天看點

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

一、檢測-正确-相關評價名額

1、準确率(Accuracy):

分對的樣本數除以所有的樣本數 ,即:準确(分類)率 = 正确預測的正反例數 / 總數。

準确率一般用來評估模型的全局準确程度,不能包含太多資訊,無法全面評價一個模型性能。

2、召回率(recall)和 精确率(Precision):

召回率(recall)又被稱為查全率,預測為正例(positive)的樣本中正确的數量除以真正的Positive的數量,即:

Recall = 被正确識别出來的正樣本的數目 / 被正确識别出來的正樣本的數目 + 被錯誤識别的正樣本的數目

            = 被正确識别出來的正樣本的數目 / 測試資料集中所有的正樣本的數目

精确率(precision)就是在識别出來的所有的被認為是正樣本的圖檔中,包含的真正正樣本的比率:

Precision = 被正确識别出來的正樣本數目 / 被正确識别出來的正樣本數目 + 原為負樣本但被識别為正樣本的圖檔數目

                 = 被正确識别出來的正樣本數目 / 被識别為正樣本的圖檔的總數

P-R曲線:畫出-當選取不同門檻值時對應的精度(precision)和召回率(recall):

一般來說PR曲線的總體趨勢:精度越高,召回越低。在正樣本非常少的情況下,PR表現的效果會更好。

一般我們希望精确率越高,召回率越高,那麼我們的模型和算法就越高效。也就是畫出來的PR曲線越靠近右上越好。

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

3、 平均精度(Average Precision,AP)和Mean Average Precision(MAP)

平均精度即:資料集中所有圖檔上的某個類,在固定的IOU門檻值下,在不同召回率下,檢出精度的均值。也是P-R曲線圍起來的面積,通常來說一個越好的分類器,AP值越高。

mAP:是多個類别AP的平均值。這個mean的意思是對每個類的AP再求平均,得到的就是mAP的值,mAP的大小一定在[0,1]區間,越大越好。該名額是目标檢測算法中最重要的一個。

4、F名額(F-Measure,F-score):

實際應用到分類時,需要綜合考慮精度,召回。選取一個門檻值,F-Measure是選取這個門檻值的常用手段:

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

 β是關與召回的權重,大于1說明更看重召回的影響,小于1則更看重精度,等于1相當于兩者的調和平均,這裡得到一個常用的名額F1-Measure。

F1名額(F1-Measure):

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

 用F1名額時,隻需要選取F1名額最大時的門檻值即可。

二、檢測-錯誤-相關評價名額

1、錯誤率(Error rate):

錯誤率則與正确率相反,描述被分類器錯分的比例,即:

誤分類率=錯誤預測的正反例數/總數 = 1 - 準确(分類)率

2、混淆矩陣 (Confusion Matrix):

混淆矩陣又被稱為錯誤矩陣, 在每個類别下,模型預測錯誤的結果數量,以及錯誤預測的類别

和正确預測的數量,都在一個矩陣下面顯示出來,友善直覺的評估模型分類的結果。

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

混淆矩陣中的橫軸是模型預測的類别數量統計,縱軸是資料真實标簽的數量統計。

對角線,表示模型預測和資料标簽一緻的數目,是以對角線之和除以測試集總數就是準确率。對角線上數字越大越

好,在可視化結果中顔色越深,說明模型在該類的預測準确率越高。

按行來看,每行不在對角線位置的就是錯誤預測的類别。

總的來說,我們希望對角線的數值越高越好,非對角線數值越低越好,可視化對角線時可以進行歸一化[normalize]處理。

三、檢測-其他-相關評價名額

1、交并比(Intersection Over Union,IOU):

IOU定義了兩個bounding box的重疊度,用來确定識别出的bounding box和人工标注的資料的比對度,如下圖所示:

【目标檢測】評價名額-分類彙總【持續更新】一、檢測-正确-相關評價名額二、檢測-錯誤-相關評價名額三、檢測-其他-相關評價名額

矩形框A、B的一個重合度IOU計算公式為:

IOU=(A∩B)/(A∪B)

就是矩形框A、B的重疊面積占A、B并集的面積比例:

IOU=SI/(SA+SB-SI)

2、FPS(Frames Per Second):

每秒處理圖像的幀數

區分:1)FLOPS:每秒浮點運算次數、每秒峰值速度

           2)GOPS:10億次/每秒是衡量處理器計算能力的名額機關。

          3)TPS(Transaction Per second) :每秒鐘系統能夠處理事務或交易的數量,它是衡量系統處理能力的

                重要名額。

ROC、AR什麼的之後在寫...

參考文章:

https://zhuanlan.zhihu.com/p/33273532

https://www.cnblogs.com/eilearn/p/9071440.html

繼續閱讀