天天看點

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

本文分享我關于幾種類型的特征描述子的性能的研究,本文是對"Comparison offeature descriptors" 的更新,新增了ORB特征描述子,仍然包含SIFT,還新增測試了新版本的LAZY描述子的性能。

Introduction

為了測試這些描述子的性能,我寫了專用的測試架構,在這個架構下,我可以輕易地增加一些新的描述子,測試案例并且能夠生成CSV-like格式的報告資料,然後我将其上傳到了google文檔,建立了這些表格。對于每一個描述子,完成了五項特性和一項性能的測試。

  • 旋轉變換:特征方向不變性
  • 尺度縮放:尺度不變性
  • 模糊測試:特征描述子對于模糊地魯棒性
  • 光照測試:特征描述子對于光照的魯棒性
  • 模式檢測測試:這項測試是真實視訊中的目标檢測,與綜合測試不同的是,這項測試給出了局部特征描述子在實際圖像中的整體穩定性
  • 性能測試:特征的時間和空間複雜度

所有的特性測試在同樣的方式下進行,通過給定的源圖像,我們生成了綜合的資料:轉換後的圖像特征比對點,旋轉算法依賴于某些測試。在旋轉測試的案例中,對源圖像繞中心做了360度的旋轉,對于尺度變換,對于源圖像從0.25到2倍的尺度變換,模糊測試用了高斯模糊,光照測試改變了整幅圖像的亮度,模式檢測測試預設了一些特殊的關鍵點,在非誠複雜和噪聲很明顯的視訊序列下完成。是以,在這些測試中,對于所有的特征描述子算法得出好的結果是一項非常有挑戰性的任務

所有特性測試的度量标準是原圖像和變換後圖像的正确比對百分比。是以我們選擇了平面物體,利用單應矩陣估計的方法,可以有效篩選所有比對中的inliers。本文使用計算機開源視覺庫OpenCV的函數cvFindHomography,這項度量給出了非常好并且穩定的結果.在單應矩陣估計之前,并沒有做比對對的outliers的檢測,因為這會出現異常,影響結果。對于描述子的比對,本文使用了OpenCV中的蠻力比對方法。

Rotation test

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

在這項測試中,我得到了完美期待的結果,因為除了BRIEF,所有的描述子都是旋轉不變的,至于在穩定性上的細微變化,可以很好的被特征方向計算算法和描述子的本質所解釋。為什麼描述子的特性是這樣的?它所花費的時間和效率,這是另外一篇文章的主題。稍後呈上。

Scaling test

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

在尺度變化的測試中,SURF和SIFT描述子向我們展示了很好的穩定性,因為它們做了在大量的關鍵點的size的計算。其它的描述子用了fixed-size的描述子,你能明白為什麼它是這樣的。目前,沒有單獨的測試LAZY特征檢測子,而是用ORB檢測子做測試,但是,正在通過特征大小的計算考慮輕量特征檢測子,因為這是必須考慮的特征。明顯的是,尺度不變性比精确地方向計算更加重要。

Blur test

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

在高斯模糊的測試中,我模拟的運動模糊(當錄影機突然移動時會發生的),在這項測試中,所有的描述子都表現出很好的結果,說結果好,我的意思是更大的高斯核大小,會導緻更小的正确比對百分比

Lighting test

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

在光照變化測試中,圖像的不同僅僅在于整幅圖像的亮度,所有的描述子都表現不錯。主要的原因是所有的描述子都歸一化了,例如描述子向量的模2範數等于1,歸一化讓描述子對于亮度變化具有很好的魯棒性

Pattern detection on real video

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

在實際視訊中的物體檢測是最複雜的一項任務,由于它背後的情況包括旋轉,尺度和運動模糊。另外,一些物體是暫時的,而且視訊不是高清的。這些條件被計算機視覺和應用的環境所局限

正如你在圖表裡面所看到的,SIFT和SURF描述子給出了最好的結果,然而它們距離理想情況還很遠,但這已足夠了

糟糕的是,scale-covariant 描述子表現出非常壞的結果,因為剛開始時圖像時1:1的尺度,在後來的視訊序列中,目标圖像在移動,scale-covariant描述子不能很好的處理這種情況。

Performance summary

特征描述子評測IntroductionRotation testScaling testBlur testLighting testPattern detection on real videoPerformance summary

這個表格展示了N個特征的提取時間,Y軸我用了對數尺度,為了讓其有更好的可讀性對于所有的描述子特征提取算法而言,特征提取時間與特征的個數呈線性關系。局部的波動很可能是由于某些特征向量的resizing或者是L2cache沒有命中。測試環境為Mac Book Pro 2.2 with Core 2 Duo 2.13 Ghz.

繼續閱讀