天天看點

【超分辨率】Enhanced Deep Residual Networks for Single Image Super-Resolution

這篇文章是NTIRE2017 Super-Resolution Challenge 奪冠文章。

機器之心對此進行了簡單的翻譯,還是比較詳細的:

https://mp.weixin.qq.com/s/xpvGz1HVo9eLNDMv9v7vqg

這篇部落客要記錄我對這篇文章的了解:

一、本文主要内容:

該文章提出了兩種模型EDSR(單一尺度網絡) 和 MDSR(多尺度超分辨率架構)。

目前一個DL網絡往往對應着一個超分尺度upscaling factor

most existing SR algorithms treat superresolution of different scale factors as independent problems without considering and utilizing mutual relationships among different scales in SR. As such, those algorithms require many scale-specific networks that need to to be trained independently to deal with various scales.

文章在單一尺度網絡EDSR的基礎上同時也提出了MDSR(多尺度超分辨率架構)

二、文章模型:

該論文模型主要來自何凱明的ResNet,不過在Residual block上有着細微的差距:

【超分辨率】Enhanced Deep Residual Networks for Single Image Super-Resolution

可以看到模型的residual block在SRResNet的基礎上去掉了BN,

原文解釋是:

Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features, it

is better to remove them.

去掉BN帶來的好處是1)訓練速度加快,2)使用顯存減少

(因為BN層會消耗與之前卷積層等量的記憶體)

1) EDSR:

【超分辨率】Enhanced Deep Residual Networks for Single Image Super-Resolution

1) MDSR:

【超分辨率】Enhanced Deep Residual Networks for Single Image Super-Resolution

可以從圖上看出,很多參數在MDSR之間是可以被共享的,是以MDSR比多個獨立尺度的網絡具有更少的參數,更快的收斂性。

most of the parameters are shared across different scales
【超分辨率】Enhanced Deep Residual Networks for Single Image Super-Resolution
From the observation in Fig. 4, we conclude that superresolution at multiple scales is inter-related tasks.

對圖4的描述:當在升采樣因子(upsampling factor)為 ×3 和 ×4 的時候,我們用預訓練的 ×2 網絡初始化了模型參數。這一預訓練方法加速了訓練程序,也提升了最終的性能表現,詳見圖 4 。對于升采樣 ×4 的情況,如果我們使用了一個預訓練的 scale×2 模型(藍線),訓練就會比随機初始化的訓練(綠線)收斂的更快。

繼續閱讀