關注并星标
從此不迷路
計算機視覺研究院
公衆号ID｜ComputerVisionGzq
論文位址：https://arxiv.org/pdf/2201.02314.pdf
計算機視覺研究院專欄
作者：Edison_G
超分辨率（SR）等圖像恢複算法是退化圖像中目标檢測不可或缺的預處理子產品。然而，這些算法中的大多數假設退化是固定的并且是先驗已知的。
一、前言
當真正的退化未知或與假設不同時，預處理子產品和随後的進階任務（如目标檢測）都會失敗。在這裡，研究者提出了一個新的架構，RestoreDet，來檢測退化的低分辨率圖像中的目标。RestoreDet利用下采樣降級作為自監督信号的一種轉換，以探索針對各種分辨率和其他降級條件的等變表示。
具體來說，通過編碼和解碼一對原始和随機退化圖像的退化變換來學習這種内在的視覺結構。該架構可以進一步利用具有任意分辨率恢複解碼器的進階SR架構來從退化的輸入圖像重建原始對應關系。表示學習和目标檢測都以端到端的訓練方式聯合優化。RestoreDet是一個通用架構，可以在任何主流目标檢測架構上實作。廣泛的實驗表明，基于CenterNet的架構在面對變質退化情況時與現有方法相比取得了卓越的性能。代碼很快就會釋出。
二、背景
由于大規模資料集，進階視覺任務（即圖像分類、目标檢測和語義分割）取得了巨大成功。這些資料集中的圖像主要由具有更高分辨率和信噪比(SNR)的商用相機捕獲。在這些高品質圖像上進行訓練和優化後，進階視覺在低分辨率或低品質圖像上的性能會下降。為了提高視覺算法在退化的低分辨率圖像上的性能，Dai等人[Is image super-resolution helpful for other vision tasks?]提出了第一個全面的研究，提倡使用超分辨率(SR)算法對圖像進行預處理。其他進階任務，如人臉識别、人臉檢測、圖像分類和語義分割，也受益于恢複子產品以提取更多區分特征。
三、新架構分析
研究者不是在嚴格假設下使用恢複子產品顯式增強輸入圖像，而是利用針對各種分辨率和退化狀态的内在等變表示。基于上圖所示的編碼表示，研究者提出了 RestoreDet，這是一種用于在退化的LR圖像中進行目标對象檢測的端到端模型。為了捕捉視覺結構的複雜模式，利用下采樣退化變換組作為自我監督信号。在訓練過程中，通過随機退化變換t從原始HR圖像x生成退化的LR圖像t(x)。如上圖所示，這對圖像被送入編碼器E以擷取其潛在特征E(x)和E(t(x))。
為了訓練編碼器E學習退化等變表示，研究者首先引入一個變換解碼器Dt來表示E(x)和E(t(x))解碼應用的退化變換t。如果可以重建轉換，則表示應盡可能捕捉它們在不同轉換下如何變化的動态。
為了進一步利用快速增長的SR研究的優勢，研究者引入了任意分辨率恢複解碼器 (ARRD) Dr。ARRD從各種退化的LR圖像t(x)的表示E(t(x))重建原始HR資料 x。ARRD Dr将監督編碼器E對有助于後續任務的詳細圖像結構進行編碼。基于編碼表示E(t(x))，目标檢測解碼器Do然後執行檢測以擷取對象的位置和類别。在推理過程中，目标圖像直接通過上圖中的編碼器E和目标檢測解碼器Do進行檢測。與基于預處理子產品的方法相比，研究者的推理pipeline計算效率更高。
為了覆寫實際場景中的各種退化，根據實際的下采樣退化模型，通過随機抽樣變換 t來生成退化的t(x)。如上圖所示，變換t由下采樣率s、退化核k和如下等式中的噪聲水準n表征。
上圖(a)是anchor free架構的CenterNet。圖(b)說明了如何基于CenterNet實作的RestoreDet。詳細的訓練過程在Algo.1中給出。在訓練RestoreDet時，原始HR圖像x和變換後的退化LR圖像t(x)被發送到編碼器E以對退化等變表示進行編碼。在這裡，直接使用CenterNet的編碼器E，但将其複制到共享權重Siamese結構中，分别接收HR和LR圖像。
Algo.1
四、實驗及可視化
MS COCO 和KITTI資料集上性能比較
(a)/(b) is CenterNet trained on normal images and tested on normal/degraded down4 testset, (c)/(d)/(e) is CenterNet tested on the degraded image restored by individual SR algorithm RRDB/RealSR/BSRGan. (f) is the detection result of our RestoreDet and we use the output of ARRD Dr as background images.
© The Ending
轉載請聯系本公衆号獲得授權
計算機視覺研究院學習群等你加入！
計算機視覺研究院主要涉及深度學習領域，主要緻力于人臉檢測、人臉識别，多目标檢測、目标跟蹤、圖像分割等研究方向。研究院接下來會不斷分享最新的論文算法新架構，我們這次改革不同點就是，我們要着重”研究“。之後我們會針對相應領域分享實踐過程，讓大家真正體會擺脫理論的真實場景，培養愛動手程式設計愛動腦思考的習慣！
計算機視覺研究院
公衆号ID｜ComputerVisionGzq
🔗