本文對 CVPR 2021 檢測大類中的“僞裝目标檢測”、“旋轉目标檢測”領域的論文進行了盤點，将會依次闡述每篇論文的方法思路和亮點。在極市平台回複“CVPR21檢測”，即可獲得打包論文 >>加入極市CV技術交流群，走在計算機視覺的最前沿
6月25日，CVPR 2021 大會圓滿結束，随着 CVPR 2021 最佳論文的出爐，本次大會所接收的論文也全部放出。CVPR2021 共接收了 7039 篇有效投稿，其中進入 Decision Making 階段的共有約 5900 篇，最終有 1366 篇被接收為 poster，295 篇被接收為 oral，其中錄用率大緻為 23.6%，略高于去年的 22.1%。
CVPR 2021 全部接收論文清單：https://openaccess.thecvf.com/CVPR2021?day=all
從 CVPR2021 公布結果開始，極市就一直對最新的 CVPR2021 進行分類彙總，共分為33個大類，包含檢測、分割、估計、跟蹤、醫學影像、文本、人臉、圖像視訊檢索、三維視覺、圖像處理等多個方向。所有關于CVPR的論文整理都彙總在了我們的Github項目中，該項目目前已收獲7200 Star。
Github項目位址（點選閱讀原文即可跳轉）：https://github.com/extreme-assistant/CVPR2021-Paper-Code-Interpretation
在之前極市平台曾對 CVPR 2021中 “2D目标檢測” 、“異常檢測”領域的論文進行了盤點，今天我們繼續盤點 CVPR 2021 檢測大類中的“僞裝目标檢測和旋轉目标檢測”領域的論文，将依次闡述每篇論文的方法思路和亮點。接下來還會繼續進行其他領域的 CVPR2021 論文盤點。如有遺漏或錯誤，歡迎大家在評論區補充指正。
Ⅰ 僞裝目标檢測篇
論文一
Camouflaged Object Segmentation with Distraction Mining
題目：帶有幹擾挖掘的僞裝對象分割
論文：https://arxiv.org/pdf/2104.10475.pdf
代碼：https://github.com/Mhaiyang/CVPR2021_PFNet
僞裝對象分割 (COS) 旨在識别“完美”融入周圍環境的對象，具有廣泛的應用價值。COS 的關鍵挑戰在于目标對象和噪聲背景之間存在高度的内在相似性。本文中開發了一個仿生架構，稱為定位和聚焦網絡 (PFNet)，它模仿了自然界中的捕食過程。具體來說，文中的PFNet包含兩個關鍵子產品，即定位子產品（PM）和聚焦子產品（FM）。PM 旨在模拟捕食中的檢測過程，以從全局角度定位潛在目标對象，然後使用 FM 執行捕食中的識别過程，通過關注模糊區域來逐漸細化粗略預測。
本文的亮點/貢獻是：
（1）将去幹擾的概念引入僞裝物體分割任務，為幹擾區域的發現和去除開發了一種新的挖掘政策，以幫助僞裝物體的精确分割。
（2）提出了一個新穎的僞裝物體分割方法，稱為定位和聚焦網絡（PFNet）。該方法首先通過探索長範圍的語義依賴關系來定位潛在的目标物體，然後聚焦于分心區域的發現和去除以逐漸細化分割結果。
網絡結構：
圖注：(a)本文的定位與聚焦網絡(PFNet) 及其兩個主要組成子產品: (b) 定位子產品(PM)和(c)聚焦子產品(FM)
如圖， (a)所示，給定一幅RGB圖像，本文首先将其送入ResNet-50網絡提取多級特征，然後将這些特征送入四個卷積層中進行通道縮減。然後，在最深層特征上應用(b) 定位子產品(PM)和(c)聚焦子產品(FM)對潛在物體進行定位。最後，利用多個聚焦子產品（FMs）逐漸發現和去除假陽性和假陰性幹擾，實作僞裝物體的準确分割。
實驗結果
大量實驗表明，本文的 PFNet 實時運作 (72 FPS)，并在四個标準名額下的三個具有挑戰性的基準資料集上顯着優于 18 個尖端模型。
論文二
Mutual Graph Learning for Camouflaged Object Detection
題目：用于僞裝目标檢測的互圖學習
論文：https://arxiv.org/abs/2104.02613
代碼：https://mhaiyang.github.io/CVPR2021_PFNet/index
對于目前模型來說，自動檢測/分割與其周圍環境融合的對象是困難的，這些前景對象和背景環境之間的内在相似性使得深度模型提取的特征無法區分。本文的方法靈感來自生物學研究的發現：捕捉真實的身體/物體形狀是識破僞裝的關鍵。一個理想的僞裝目标檢測模型應該能夠從給定的場景中尋找有價值的、額外的線索，并将它們合并到一個聯合學習架構中，用于特征表示聯合增強。
受此啟發，本文主要進行了以下工作：
（1）設計了一種新的基于圖、互動式學習的僞裝目标檢測方法，叫做互動式圖學習模型（MGL）。将傳統的互動式學習思想從規則網格推廣到圖域。具體來說，MGL将一幅圖像分解成兩個特定任務的特征圖：一個用于粗略定位目标，另一個用于精确捕捉其邊界細節——并通過圖形反複推理它們的高階關系來充分利用互利。
（2）使用基于圖的僞裝目标檢測技術來利用兩個緊密相關任務（COD和COEE）之間的互相指導知識，用于完全挖掘嵌入的導航資訊。該方法能夠擷取語義指導知識和空間支援資訊，互相促進兩個任務的執行。與傳統的互動式學習方法不同，MGL內建了兩個不同的基于圖的互動子產品來推理類型關系：RIGR用于從COE最小化分割指導資訊來輔助COEE，ECGR用于結合真實的邊先驗來增強COD底層表示。
方法概述：
MGL主要由三個部分組成: Multi-Task Feature Extraction (MTFE), Region-Induced Graph Reasoning (RIGR) module和Edge-Constricted Graph Reasoning (ECGR)。該模型将正常互學習的思想從規則網格推廣到圖域。具體來說，MGL 将圖像解耦為兩個特定于任務的特征圖：一個用于粗略定位目标，另一個用于準确捕獲其邊界細節——并通過通過圖形反複推理它們的高階關系來充分利用他們的互利性。
MTFE：給定輸入圖像I（H×W×3），一個multi-task backbone被解耦為兩個特定于任務的表示。Fc（h×w×c）用于粗略的檢測目标，Fe（h×w×c）用于正确的捕捉真實邊緣。
RIGR：将Fc和Fe通過圖像投影操作fGproj轉換為依賴樣本的語義圖Gc=（Vc，Ec）和Ge=（Ve，Ee）。語義圖中，具有相似特征的像素形成頂點，邊測量特征空間中頂點之間的affinity。交叉圖互動式子產品（CGI）fcgi用來捕獲兩個語義圖之間的進階依賴關系，并将語義資訊從Vc變成Ve’。然後通過圖卷積進行圖推理（fGR）獲得最終的Vc和Ve’。最後将Vc和Ve’通過fRproj投影回原始坐标空間。
ECGR：在空間關系分析之前，先将Fe送入邊緣分類器fEC，得到僞裝的目标感覺邊緣圖E。另外将Fe和Fc進行拼接形成新的特征圖Fc‘，然後使用邊緣支援圖卷積（ESG-Conv）對邊緣資訊進行編碼，在E的引導下增強Fc’更好地定位目标。最後我們将Fc’送到分類器fcc中，獲得最終結果C。
在MGL中，利用RIGR和ECGR兩個新的神經子產品，在多個層次的互相作用空間上對COD和COEE之間的互相關系進行了推理。通過明确地推理它們之間的關系，有價值的互相指導資訊可以直覺地準确傳播，以便在表征學習過程中互相幫助。值得一提的是，RIGR和ECGR可以連續堆疊，以實作反複性的互相學習。
總結
訓練集是CAMO和COD10K的組合，使用ImageNet預訓練的ResNet50。對資料進行随機裁剪，左右翻轉和[0.75, 1.25]範圍内縮放。使用SGD優化政策。學習率調整圖下公式，base_lr=1e-7，power=0.9。
與大多數使用共享函數來模組化所有任務間互動的互相學習方法不同，MGL 配備了類型化函數來處理不同的互補關系，以最大化資訊互動。在具有挑戰性的資料集（包括 CHAMELEON、CAMO 和 COD10K）上進行的實驗證明了 MGL 的有效性，其性能優于現有的最先進方法。
論文三
Uncertainty-aware Joint Salient Object and Camouflaged Object Detection
題目：不确定度聯合顯着物體和僞裝物體檢測)
論文：https://arxiv.org/abs/2104.02628
代碼：https://github.com/JingZhang617/Joint_COD_SOD
視覺顯着物體檢測（SOD）旨在找到吸引人類注意力的顯着物體，而僞裝物體檢測（COD）則相反，旨在發現隐藏在周圍的僞裝物體。本文提出了一種利用沖突資訊來增強顯着物體檢測和僞裝物體檢測的檢測能力的範例。
首先利用 COD 資料集中的簡單正樣本作為 SOD 任務中的硬正樣本，以提高 SOD 模型的魯棒性。然後，引入了一個 enquote 相似性度量子產品來顯式地對這兩個任務的沖突屬性進行模組化。此外，考慮到兩個任務資料集中标記的不确定性，提出了一個對抗性學習網絡來實作高階相似性度量和網絡置信度估計。
基準資料集的實驗結果表明，本文的解決方案為這兩個任務帶來了最先進的 (SOTA) 性能。
本文的網絡架構和GAN有點類似，其中生成器采用的是Encoder-Decoder架構。其中資訊有：
個人感覺看起來像個GAN，其中生成器采用的是Encoder-Decoder架構。其他的資訊有：
- 資料集中的圖像
- COD資料集中的圖像
- 用于SOD的Encoder, backbone為ResNet50
- 用于COD的Encoder, backbone為 Net 50
- PASCAL VOC 2007 資料集中的圖像
- 相似度度量子產品
- 共同decoder, 能夠生成SOD或者COD的預測結果
- 判别器
性能超越了11個最近模型，包括NLDF(CVPR 2017)、PiCANet(CVPR 2018)、CPD(CVPR 2019)、SCRN(ICCV 2019)、PoolNet(CVPR 2019)、BASNet(CVPR 2019)、EGNet(ICCV 2019)、AFNet(CVPR 2019)、CSNet(ECCV 2020)、F3Net(AAAI 2020)、ITSD(CVPR 2020)。
本文的最大創新點是将Joint Training應用到了SOD、COD這兩個近乎相反的任務上。SOD與COD的關注點不同，SOD尋找局部特征的能力有助于COD獲得更精确的僞裝邊界，而COD處理全局資訊的能力能幫助SOD減少對背景噪聲的誤識别。從SOD的角度講，暫時跳出了如何提升特征融合能力上限這一研究點。
論文四
Simultaneously Localize, Segment and Rank the Camouflaged Objects
題目：同時定位，分割和排序僞裝的對象
論文：https://arxiv.org/abs/2103.04011
代碼：https://github.com/JingZhang617/COD-Rank-Localize-and-Segment
僞裝是整個物種的一個關鍵防禦機制，僞裝物體檢測（COD）旨在分割隐藏在周圍環境中的僞裝物體。現有的COD模型是建立在二進制地面實況的基礎上，對僞裝的物體進行分割，而沒有說明僞裝的程度。
本文重新審視了這一任務，并認為對僞裝物體在特定背景下的顯眼程度進行模組化，不僅可以更好地了解動物的僞裝和進化，還可以為設計更複雜的僞裝技術提供指導；而且正是僞裝物體的一些特定部分，使它們能夠被捕食者發現。
基于上述對僞裝物體的了解，本文提出了第一個基于排名的COD網絡（Rank-Net），以同時對僞裝物體進行定位、分割和排名。定位模型的提出是為了找到使僞裝物體明顯的鑒别性區域。分割模型對僞裝物體的全部範圍進行分割。排名模型推斷出不同僞裝對象的可探測性。
本文主要貢獻：
（1）提出了僞裝目标排序（COR）和僞裝目标鑒别區域定位（COL）這兩個新任務，以估計僞裝對象的難度并識别僞裝對象明顯的區域。前者旨在找到使僞裝對象可被察覺的辨識區域，而後者試圖解釋僞裝的程度。
（2）在一個聯合學習架構中建構了本文的網絡（Inferring the ranks of camouflaged objects），以同時定位、分割和排列被标記的對象。其中Fixation Decoder 生成 discriminative region，該區域與周圍的環境有更高的對比度，其實也就是大緻的僞裝對象的位置。Camouflage Decoder生成最終的預測圖，使用反向關注的思想，來獲得結構化的資訊。
（3）提供了一個大型的COD測試集來評估COD模型的泛化能力。實驗結果表明，本文模型達到了新的先進水準，導緻了一個更可解釋的COD網絡。此外，生成的區分區域和等級圖為了解僞裝的本質提供了見解。此外，新測試資料集NC4K可以更好地評估僞裝目标檢測模型的泛化能力。
Ⅱ 旋轉目标檢測(Rotation Object Detection)
論文五
ReDet: A Rotation-equivariant Detector for Aerial Object Detection
題目：ReDet：用于航空物體檢測的等速旋轉檢測器)
論文：https://arxiv.org/abs/2103.07733
代碼：https://github.com/csuhan/ReDet
航空圖像中的物體檢測因方向任意分布，檢測器需要更多的參數來編碼方向資訊，這些參數往往是高度備援和低效的。此外，普通的CNN沒有對方向變化進行明确模組化，是以需要大量的旋轉增強資料來訓練一個準确的物體檢測器。
本文針對這種問題提出了一個旋轉等值檢測器（ReDet）。它明确地編碼了旋轉等值和旋轉不變性：将旋轉等值網絡納入檢測器，以提取旋轉等值特征、以準确預測方向，并導緻模型大小的巨大減少。基于旋轉不變的特征，我們還提出了旋轉不變的RoI Align（RiRoI Align），它根據RoI的方向，從等值特征中自适應地提取旋轉不變的特征。
在幾個具有挑戰性的航空圖像資料集DOTA-v1.0、DOTA-v1.5和HRSC2016上進行的大量實驗表明，我們的方法在航空物體檢測任務上可以達到最先進的性能。與以前的最佳結果相比，我們的ReDet在DOTA-v1.0、DOTA-v1.5和HRSC2016上分别獲得了1.2、3.5和2.6的mAP，同時參數數量減少了60/%（313Mb vs. 121Mb）。
在本文中，我們提出了旋轉等變檢測器（ReDet）來解決這些問題，它明确地編碼了旋轉等方差和旋轉不變性。更準确地說，我們将等速旋轉網絡合并到檢測器中以提取等速旋轉特征，這些特征可以準确地預測方向并導緻模型尺寸大大減小。
基于旋轉不變特征，我們還提出了旋轉不變RoI對齊（RiRoI Align），它根據RoI的方向從等變特征中自适應提取旋轉不變特征。
實驗結果
在幾個具有挑戰性的航空影像資料集DOTA-v1.0，DOTA-v1.5和HRSC2016上進行的廣泛實驗表明，我們的方法可以在航空物體檢測任務上實作最先進的性能。與以前的最佳結果相比，我們的ReDet在DOTA-v1.0，DOTA-v1.5和HRSC2016上分别獲得了1.2、3.5和2.6 mAP的性能，同時将參數數量減少了60％（313 Mb對121 Mb）。
論文六
Dense Label Encoding for Boundary Discontinuity Free Rotation Detection
題目：解讀-DCL：旋轉目标檢測新方法
論文：https://arxiv.org/abs/2011.09670
代碼：https://github.com/yangxue0827/RotationDetection
在許多涉及航空圖像、場景文本和人臉等的視覺應用中，旋轉檢測是一個基本的構模組化塊。與主要的基于回歸的方向檢測方法不同，本文探索了一種相對較少研究的基于分類的方法，希望能從本質上解決基于回歸的檢測器所遇到的邊界不連續問題。
本文從兩個方面發展了基于分類的旋轉檢測方法的研究思路：
（1）新的編碼機制：對于預測層，可通過縮短代碼長度來實作更輕的預測層。本文設計兩個用于角度分類的密集編碼标簽（DCL），以取代現有的基于分類的檢測器中的稀疏編碼标簽（SCL），此舉明顯加快了基于方向分類的檢測器中的稀疏編碼标簽模型的訓練速度。
（2）進一步提出了角距離和長寬比敏感權重技術（ADARSW）。該技術通過使基于DCL的檢測器對角距離和物體的長寬比敏感而進一步提高性能。在不同的檢測器和資料集上進行的廣泛實驗表明，準确性和效率方面都有較好優化。
參考連結
- https://blog.csdn.net/qq_41684249/article/details/116483919
- https://blog.csdn.net/qq_41684249/article/details/115739761
- http://mtw.so/6wm2Rs