Toward Convolutional Blind Denoising of Real Photographs
Shi Guo , Zifei Yan , Kai Zhang , Wangmeng Zuo , Lei Zhang
Harbin Institute of Technology, Harbin, 150001, China
Department of Computing, The Hong Kong Polytechnic University, Hong Kong
目前深度卷積神經網絡去噪方法
- 大多數存在的盲去噪的方法都包括兩步：噪聲估計和非盲目去噪。
- 深度卷積神經網絡的效果依賴于訓練資料，但真實噪聲圖像和幹淨圖像太少，而合成的噪聲圖像與真實噪聲圖像相差太大。
- 真實噪聲的特征不能充分地被設計的噪聲模型所刻畫。
- 非盲目去噪器（BM3D、FFDNet）對低估噪聲等級敏感，而對高估噪聲等級表現良好。即在噪聲估計網絡對噪聲圖像的噪聲估計的噪聲等級低于實際噪聲等級時，去噪效果不好，但當噪聲估計網絡對噪聲圖像的噪聲估計的噪聲的呢估計高于實際噪聲等級時去噪效果良好。
論文的方法是如何借鑒和改進前人的方法
- 針對第一點，同樣分為兩個子網絡：噪聲估計子網絡和非盲目去噪子網絡
- 針對第二點和第三點，論文選擇同時用合成噪聲圖像和真實噪聲圖像交替訓練網絡 。
- 針對第三點，論文提出了一個更接近真實噪聲的模型，既考慮了信号相關的噪聲，又考慮了錄影機的處理流水線中的噪聲。
- 針對第四點，論文充分利用BM3D對高估計噪聲等級表現良好的特性，選擇用非對稱的方法來學習，即的那個噪聲估計網絡高估噪聲時，給與一個較小的懲罰，而的那個網絡低估噪聲等級時，給予較大的懲罰。
論文主要貢獻
- 圖像噪聲模型在深度卷積神經網絡對真實噪聲圖像去噪中起到關鍵的作用。論文提出了一個更接近真實噪聲的模型，同時考慮了信号相關的噪聲和在錄影機的處理流水線中的噪聲。
- 論文提出了一個CBDNet，由噪聲估計子網絡和非盲目去噪子網絡兩部分組成。同時使用非對稱學習方法。
- 同時采用合成噪聲圖像和真實噪聲圖像訓練CBDNet。
- 在三個資料集上的實驗結果表面論文提出的CBDNet相比于前人的方法有突出的效果。
論文的主要方法
噪聲模型
信号依賴的噪聲：幹淨圖像x，更真實地噪聲模型
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，其中
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是信号依賴的噪聲，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是靜态噪聲分量，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是高斯白噪聲，方差為
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，每個像素i的
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 噪聲都與圖像的密度相關。
錄影機圖像處理流水線噪聲：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，其中y是合成的噪聲圖像，f是相機響應函數，将幅照度L轉換為幹淨圖像x，M是将sRGB圖像轉變為Bayer圖像的函數，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是去馬賽克函數。這樣就得到了一個合成的噪聲圖像。
為了擴充到壓縮圖像，在上式的基礎上在加一個JPEG壓縮函數，得到壓縮圖像。
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 。
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 分别從
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 均勻采樣得到。f是從201個相機響應函數中均勻采樣。壓縮品質因子是在
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 中均勻采樣得到。
網絡結構
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 網絡主要有兩部分組成噪聲估計網絡
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 和去噪網絡
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 。
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 由五個全連接配接層組成，沒有池化層也沒有BatchNormailization，每個卷積層的通道數是32，filter大小是3
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 3，。诶個卷積層後面的激活函數是Relu。
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是一個U-Net結構，也是filter是3
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 3，激活函數是Relu，但在最後一個卷積層的後面沒有激活函數。
非對稱學習
非對稱學習的思想就是加大對低估網絡噪聲等級的懲罰，其損失函數定義為：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 其中
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是噪聲估計網絡估計的噪聲等級，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 是真實的噪聲等級，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 且
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 設定為
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，這就使得在網絡低估噪聲等級時，即
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs <
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，I=1，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，當網絡甘谷噪聲等級時，即
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs >
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，I=0，
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 。
此外論文引入了一個全變差正則化，來限制
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 的光滑程度：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 分别表示垂直方向和水準方向的梯度。
重構損失：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，即網絡輸出的去噪圖像和真實無噪聲圖像的差距。
總的目标函數：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，其中
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 分别是對應的權值。
訓練過程中使用合成圖像又使用真實圖像
CBDNet在訓練過程中以一個Batch為機關交替使用合成圖像和真實圖像。對合成圖像損失函數是全部的損失函數，但對真實圖像，因為無法知道其真實的噪聲等級，是以不考慮非對稱損失。
實驗
測試資料集
- NC12：12個噪聲圖像，沒有幹淨圖像
- DND：50對噪聲圖像和幹淨圖像
- Nam:11中場景，每個場景500張JPEG壓縮圖像，而每個場景的幹淨圖像是這500個JPEG壓縮圖像的均值
實作細節
- 目标函數參數設定:
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs - 優化器：ADAM
- batchsize:32，圖像大小：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs - 40epochs，前20個epochs學習率為0.001，後20epochs學習率為0.0005
消融研究
非對稱損失中
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 的取值對網絡性能的影響，分别取
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs ，對比結果，可以發現
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 取較小值效果較好。
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 論文對比了隻用真實圖像、隻用合成圖像訓練和交替使用真實圖像和合成圖像的CBDNet的性能，如下圖
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 發現隻使用合成圖像訓練會使去噪的結果過于光滑，隻使用合成圖像訓練會限制網絡的去噪能力，因為合成的噪聲與真實噪聲還是相差較多。交替使用真實圖像和合成圖像訓練的網絡去噪效果良好。
結果對比
在NC12資料集上，FFDNET、CDnCNNB、BM3D、NC隻能去除圖像上的一部分噪聲，WNNM效果比前面的幾個好，但仍人不能去除全部噪聲，NI可以去除噪聲，但卻過于光滑，而CBDNet既能去除全部噪聲，又不會過于光滑，可以保持原來圖像的紋理和結構。
在DND資料集上的結果:
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 在Nam資料集上的結果：
CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs CBDNet:Toward Convolutional Blind Denoising of Real PhotographsToward Convolutional Blind Denoising of Real Photographs 
