天天看點

FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

論文: FCOS: A Simple and Strong Anchor-freeObject Detector

FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

  • 論文位址:​​https://arxiv.org/abs/2006.09214​​
  • 論文代碼:​​https://github.com/aim-uofa/AdelaiDet​​

Introduction

  論文由FCOS原團隊重新修改後發表,作者管這篇為FCOS的擴充版本而不是FCOSv2,但為了好分辨,我們就管他叫FCOSv2吧。FCOSv2的整體思想基本與FCOS一緻,但性能出色很多。對比FCOS,基礎主幹ResNet-101-FPN上的性能從41.5AP提升了43.2AP,而最高版本的性能則是達到了50.4AP。

  本文主要探讨FCOSv2其中的一些改進與提升方法,具體的其它實作可參考之前的FCOS文章。

FCOSv2

FCOS

  FCOSv2在思想上與FCOS基本一緻,在特征圖的每個位置預測目标的類别、尺寸資訊以及Center-ness,Center-ness用來表示目前位置與目标中心點的距離,目标的最終分數由分類分數和Center-ness分數結合所得。尺寸資訊跟以往的bbox回歸方法不同,預測的是特征位置到目标的四個邊界的距離。

FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

  圖2為FCOSv2中的主幹網絡結構,主幹網絡依然采用FPN,每層特征使用共同的head預測類别資訊、尺寸資訊以及Center-ness,具體的可以看看之前的文章。

Change

  下面列舉了一些FCOSv2相對于FCOS的修改,由于論文沒有與原版進行對比,是以不知道各部分帶來的收益具體是多少:

  1. 正樣本點指定的修改,FCOS要求該特征點位于目标内部,以及該特征點到目标邊界的距離滿足所處的FPN層的限制,而FCOSv2則要求特征點位于目标的中心區域$(c_x-rs, c_y-rs, c_x + rs, c_y+rs)$,$s$為目前層的stride,$r=1.5$為超參數。
  2. 回歸目标修改,FCOS的回歸目标直接是特征點到目标邊界的距離,由于Head是共用的,是以在預測時為每個level預設一個可學習的scale因子,而FCOSv2則加入stride,變得更适應FPN的尺寸,可學習的scale因子依然使用。
FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020
  1. center-ness預測的位置,FCOS的center-ness預測與分類預測放到了一起,而FCOSv2則将其與回歸預測放到了一起。
  2. 回歸損失函數修改,FCOS使用IoU損失進行回歸的學習,而FCOSv2則采用了GIoU損失進行回歸的學習。
  3. 最終分數的計算,FCOS采用分類分數以及center-ness之積,FCOSv2則采用分類分數以及center-ness之積的平方根:
FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

Improvement

  為了獲得更好的性能,除了更換更強的主幹網絡外,論文還将FCOSv2進行了如下擴充:

  1. 使用BiFPN代替普通FPN,注意沒有采用深度分離卷積,這部分能帶來約2AP提升。
  2. 測試階段的資料增強,将圖檔依次縮放至$[400,1200]$,每次步長為100,每個尺寸使用原圖以及垂直翻轉圖檔進行推理,這部分能帶來約2.5AP提升。
  3. 增加可變形卷積,分别替換主幹網絡的第三和第四階段的卷積,以及Head的兩個分支的前四個卷積,這部分帶來約1.5AP提升。

Experiment

FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

  與SOTA方法對比。

FCOSv2:原作的擴充版本,小修小改,性能高達50.4AP | IEEE T-PAMI 2020

  推理性能對比。

Conclusion

  本文是對FCOS的小修小改,最終性能達到了50.4AP,可謂相當強勁了,大家在工程上可以參考其中的改進以及提升方法。

請關注 微信公衆号【曉飛的算法工程筆記】