深度學習論文: Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions及其PyTorch實作
Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions
PDF: https://arxiv.org/pdf/2112.08088.pdf PyTorch代碼: https://github.com/shanglianlm0525/CvPytorch PyTorch代碼: https://github.com/shanglianlm0525/PyTorch-Networks
1 概述
本文提出了一種新的圖像自适應YOLO (IA-YOLO)架構，可以對每張圖像進行自适應增強，以提高檢測性能。針對YOLO探測器的惡劣天氣條件，提出了一種可微分的圖像處理(DIP)子產品，并利用小型卷積神經網絡(CNN-PP)對其參數進行預測。
IA-YOLO以端到端的方式學習CNN-PP和YOLOv3，這確定CNN-PP可以學習适當的DIP，以弱監督的方式增強圖像進行檢測。
2 Image-Adaptive YOLO (IA-YOLO)
2-1 DIP Module
圖像濾波器的設計應遵循可微性、分辨率獨立的原則。對于基于梯度的CNN-PP優化，濾波器應該是可微的，以允許通過反向傳播訓練網絡。但是如果在處理高分辨率圖像(如4000×3000)時，會消耗大量計算資源，是以本文采用下采樣的大小為256×256的低分辨率圖像中學習濾波器參數，然後将相同的濾波器應用到原始分辨率的圖像中。是以，這些過濾器需要獨立于圖像分辨率。
提出的DIP子產品由六個可微濾波器組成，具有可調超參數，包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标準的顔色和色調操作符，如WB、Gamma、Contrast和Tone，可以表示為像素級濾波器。是以，設計的濾波器可以分為霧化、像素化和銳化。
2-1-1 像素級濾波器
WB和Gamma濾波器是簡單的乘法和乘方變換。
contrast濾波器，輸入參數控制原始圖像和完全增強圖像之間的線性插值。
tone濾波器設計為一個單調的分段線性函數。通過 L個參數來學習tone濾波器，
2-1-2 銳化濾波器
圖像銳化可以突出圖像的細節。銳化過程可以描述如下:
其中為輸入圖像，為高斯濾波器，λ為正縮放因子。這個銳化操作對于和λ都是可微的。注意，銳化程度可以通過優化λ調優目标檢測性能。
2-1-3 除霧濾波器
基于暗通道先驗方法設計了一個具有可學習參數的除霧濾波器。基于大氣散射模型，朦胧圖像的形成可以表述為:
其中 為霧天圖像，為場景亮度。為全球大氣光，為媒體透射圖，定義為:
其中為大氣的散射系數，為場景深度。
為了恢複幹淨圖像，關鍵是擷取大氣光A和透射圖。為此，首先計算暗通道圖，并選擇最亮的1000個像素。然後，對霧霾圖像的1000個像素平均估計A。根據上式，可以推導出的近似解如下：
進一步介紹一個參數除霧程度控制方法如下:
由于上面的操作是可微的，可以優化通過反向傳播使除霧濾波器更有利于霧天圖像的檢測。
2-2 CNN-PP Module
在相機圖像信号處理(ISP)管道中，通常使用一些可調濾波器進行圖像增強，其超參數由經驗豐富的工程師通過視覺檢查手動調整。通常，這樣的調優過程是非常笨拙和昂貴的。使用一個較小的CNN作為參數預測器來估計超參數，這是非常有效的。
每個卷積塊包括一個帶有stride=2的3 × 3卷積層和一個LeakyRelu。最後的全連接配接層輸出DIP子產品的超參數。這5個卷積層的輸出通道分别為16、32、32、32和32。當輸出參數總數為15時，CNN-PP模型隻包含165K個參數。
2-3 Detection Network Module
這裡選擇one-stage檢測器YOLOv3作為檢測網絡。
3 Experiments