天天看點

目标檢測性能評價名額(mAP、IOU..)

一、mAP

  這裡首先介紹幾個常見的模型評價術語,現在假設我們的分類目标隻有兩類,計為正例(positive)和負例(negtive)分别是:

  1)True positives(TP): 被正确地劃分為正例的個數,即實際為正例且被分類器劃分為正例的執行個體數(樣本數);

  2)False positives(FP): 被錯誤地劃分為正例的個數,即實際為負例但被分類器劃分為正例的執行個體數;

  3)False negatives(FN):被錯誤地劃分為負例的個數,即實際為正例但被分類器劃分為負例的執行個體數;

  4)True negatives(TN): 被正确地劃分為負例的個數,即實際為負例且被分類器劃分為負例的執行個體數。 

P

代表precision即準确率, 計算公式為 預測樣本中實際正樣本數 / 所有的正樣本數 即 precision=TP/(TP+FP);

R

代表recall 即召回率, 計算公式為 預測樣本中實際正樣本數 / 預測的樣本數即 Recall=TP/(TP+FN)=TP/P

一般來說,precision和recall是魚與熊掌的關系,往往召回率越高,準确率越低

AP

AP 即 Average Precision即平均精确度

mAP

mAP 即 Mean Average Precision即平均AP值,是對多個驗證集個體求平均AP值,作為 object dection中衡量檢測精度的名額。

P-R曲線

P-R曲線即 以 precision 和 recall 作為 縱、橫軸坐标 的二維曲線。通過選取不同門檻值時對應的精度和召回率畫出

總體趨勢,精度越高,召回越低,當召回達到1時,對應機率分數最低的正樣本,這個時候正樣本數量除以所有大于等于該門檻值的樣本數量就是最低的精度值。

另外,P-R曲線圍起來的面積就是AP值,通常來說一個越好的分類器,AP值越高

最後小小總結一下,在目标檢測中,每一類都可以根據 recall 和 precision繪制P-R曲線,AP就是該曲線下的面積,mAP就是所有類AP的平均值。

二、IOU(交并比)

IOU 即交并比 即 Intersection-over-Union,是目标檢測中使用的一個概念,是一種測量在特定資料集中檢測相應物體準确度的一個标準。

IOU表示了産生的候選框(candidate bound)與原标記框(ground truth bound)的交疊率或者說重疊度,也就是它們的交集與并集的比值。相關度越高該值。最理想情況是完全重疊,即比值為1。

計算公式如下:

三、NMS(非極大抑制)

NMS即non maximum suppression即非極大抑制,顧名思義就是抑制不是極大值的元素,搜尋局部的極大值。

在物體檢測中,NMS 應用十分廣泛,其目的是為了清除多餘的框,找到最佳的物體檢測的位置。

四、速度

除了檢測準确度,目标檢測算法的另外一個重要性能名額是速度,隻有速度快,才能實作實時檢測,這對一些應用場景極其重要。評估速度的常用名額是每秒幀率(Frame Per Second,FPS),即每秒内可以處理的圖檔數量。當然要對比FPS,你需要在同一硬體上進行。另外也可以使用處理一張圖檔所需時間來評估檢測速度,時間越短,速度越快。