Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization
- Abstract
- Introduction
- Method
- something more
Abstract
提出泛化性較強的去噪結構和一種遷移學習政策。用自适應執行個體規範化（Adaptive Instance Normalization）來搭建去噪器，可以限制feature map，防止網絡過拟合。
Introduction
先分析了正則化和遷移學習的影響，用下面的回歸圖像說明。
第一張圖表示的時訓練和測試圖像用的是AWGN，綠色的線是沒有正則化的，紅色的線是有正則化的，w/o正則化會過拟合訓練資料，導緻均方差較大。b圖展示了真實噪聲的分布情況，c圖則利用了少量真實噪聲樣本來進行遷移學習，來将第一張圖裡的曲線拟合到第二張圖的真實噪聲中。
Method
提出的網絡結構如下：
遷移學習包括兩個階段：先用綜合噪聲訓練出原始denoiser，然後利用遷移學習再訓練denoiser。
首先是噪聲估計器的改進，指出之前的CBDNet等采用的噪聲估計網絡估計不準，指出問題在于感受野不夠大，于是采用上下采樣的多尺度方法來得到估計，噪聲估計為大尺度和小尺度兩個噪聲估計的權重，對小尺度圖像進行線性插值得到。
其次是AIN自适應執行個體規範化，可以把AIN看作一個通道增強操作，本質上是一個大卷積，先将前一層進行Instance Norm逐通道歸一化，然後仿射變換的參數由map決定。這個AIN層從某種角度上可以看作是attention機制的應用。
之後是遷移學習，即采用真實噪聲資料集來在原始訓練好的模型基礎上進行更新，這裡的遷移學習在實驗部分分析了兩種，一種是所有塊都進行了改變，另一種是固定部分卷積層，重新訓練其他層。
網絡的loss分為倆，一個是圖像l1 loss，另一個是map的非對稱loss，這個非對稱和CBDNet的差別是CBDNet隻有一個尺度，這裡是多個尺度權重。在遷移學習時loss為隻有圖檔的loss。
something more
在我自己的研究中目前正在進行一個對比分析，sigma map究竟對整個網絡的影響有多大，單純的sigma map融合訓練對整體性能的提升的确不太明顯，VDN中也有提到這個問題。AINDNet裡的sigma map的有效性我覺得是在于對sigma map的反複利用上，利用sigma map來計算AIN的參數，這個操作讓網絡學習到更多的sigma map的空間資訊。
還有一個思考是，這個sigma map利用有監督的學習和無監督學習的效果之間的對比，目前我自己的方法中采用無監督學習，作為網絡的一部分，讓網絡自己學習的效果比有監督學習效果更好一些，也可能是因為sigma map所設定的ground truth對網絡幫助不夠大。