還有什麼能比國際頂會更能反映圖像技術的最前沿進展？
在這篇文章中，親曆了ECCV 2018的機器學習研究員Tetianka Martyniuk挑選了6篇ECCV 2018接收論文，概述了超分辨率（Super-Resolution, SR）技術的未來發展趨勢。
量子位将文章要點翻譯整理如下與大家分享。
一：學習圖像超分辨率，先學習圖像退化
論文：
To learn image super-resolution, use a GAN to learn how to do image degradation first
位址：
http://openaccess.thecvf.com/content_ECCV_2018/html/Adrian_Bulat_To_learn_image_ECCV_2018_paper.html
為什麼超分辨率經常被認為是個相當簡單的問題？我曾經說過，因為它能夠輕松得到訓練資料（隻需要降低擷取圖像的清晰度即可），是以和圖像修複任務相比，超分辨率可能顯得有些無聊。
但人工生成的低分辨率圖像，和真實自然存在的圖像一樣嗎？答案是否定的。和通過雙三次插值生成的圖像不同，真實世界的低分辨率圖像明顯屬于不同類别。
是以，有人認為用這些人工生成的圖像訓練GAN并不能生成真實的圖像。
為了處理這個問題，這篇論文的作者建議了兩步走的方法：首先，用未配對的圖像訓練一個降低分辨率的GAN，是以它學習了如何減小高分辨率圖像的規模。
當圖檔有多級退化或未知退化（比如運動模糊）時，能夠幫我們擷取真實結果的并不是模組化過程，而是圖像退化的學習過程。此外，它還解決的重建圖像時的“老大難”問題：難以擷取配對圖像。
是以，在第一階段，我們可以使用不同的未配對資料集，比如由Celeb-A、AFLW、LS3D-W和VGGFace2組成的高分辨率圖像資料集，或者低分辨率圖像資料集Widerface。第二階段，用上一步的輸出結果，用成對訓練資料從低分辨率到高分辨率地訓練GAN。
論文作者還提到，作者表示，唯一的另外一種寫到了真實低分辨率面部圖像超分辨率結果的方法，也出自自己實驗室，而且中了CVPR 18。這些結果隻包含面部圖像，因為它用到了面部标記，是以不能被應用到其他物體分類中。
這是一些讓人印象深刻的結果：
二：由面部五官熱力圖指導的面部超分辨率
Face Super-resolution Guided by Facial Component Heatmaps
http://openaccess.thecvf.com/content_ECCV_2018/html/Xin_Yu_Face_Super-resolution_Guided_ECCV_2018_paper.html
在這篇論文中，作者認為自己的Face SR方法的結果優于SOTA，是因為它考慮到了人臉的面部特征，是以可以捕捉到動作的變化。此外，這大大降低了訓練樣例的數量。
他們主要的方法是借助提升采樣的多任務CNN和辨識網絡。這個提升采樣的網絡包含兩個分支：一個提升采樣的分支和一個互相協作的面部五官熱力圖分支。
在16*16的圖像中檢測面部五官是一個頗具挑戰性的任務，是以作者首先拿到了低分辨率圖像的超分辨率版本，然後部署空間變換網絡配準特征圖，随後，用經過上采樣的特征圖來預估面部五官的熱力圖。
配準特征圖是可以減少訓練資料規模的重要原因之一，預計的面部熱力圖也提供了可視化資訊，這些是無法從像素級資訊推斷出來的。
這裡還有一些結果：
△ a：未配準的低像素的輸入，b：原始高清圖像，c：配準低分辨率人臉的最近鄰，d：級聯Bi-Network結果，e：TDAE（Transformative Discriminative Autoencoders）結果，f：用作者的訓練資料訓練過的TDAE結果，g：作者的結果
總的來說，與其他滿量程（Full scale range，FSR）方法主要的不同點是，作者不僅應用到了相似強度映射，并且将收集的結構資訊當作額外的先驗。
三：用深度殘差通道的注意網絡的圖像超分辨率
Image Super-Resolution Using Very Deep Residual Channel Attention Networks
http://openaccess.thecvf.com/content_ECCV_2018/html/Yulun_Zhang_Image_Super-Resolution_Using_ECCV_2018_paper.html
在這篇文章中，作者提出了一種讓CNN更深的方法：首先要做的就是，準備10個殘差組，其中每組包含20個殘差通道注意子產品。
研究人員表示網絡的深度很重要，我們也認為如此，也見證過EDSR和MDSR帶來的一波浪潮。然而，通過簡單堆疊殘差塊來建構更深的網絡可能很難得到更大的提升，需要在架構方面有更多進展。
是以，他們提出了RIR（residual in residual）架構，堆疊的每個殘差組裡包含很多殘差塊，是以我們也可以獲得長跳過連接配接和短跳過連接配接。
上述提到的映射和殘差塊中的快捷鍵可以繞開低頻資訊。
△ 網絡架構
這篇論文中第二個亮點是通道注意機制，基于CNN的方法主要的問題是，他們會平均對待每個通道特征，缺少分辨跨特征通道的學習能力。是以，引入的通道注意自适應性重新調整每個通道的特征，可以将注意力集中到更有用的通道中。
基本模組如下：
結果如下：
四：用于圖像超分辨率的多尺度殘差網絡
Multi-scale Residual Network for Image Super-Resolution
http://openaccess.thecvf.com/content_ECCV_2018/html/Juncheng_Li_Multi-scale_Residual_Network_ECCV_2018_paper.html
在這篇論文中，作者從重建經典的超分辨率模型開始講起，包括SRCNN、EDSR和SRResNet這些已知的經典模型。基于這些重建實驗，研究人員認為這些模型具有一些共同點：
● 難以重制
● 特征使用率不足
● 可擴充性差
是以，研究人員提出了一種新型的網絡架構，并稱之為多尺度殘差網絡（Multi-scale residual network，MSRN）。
它由兩部分構成：多尺度特征融合和局部殘差學習，可以用不同大小的卷積核來适應性檢測不同規模的圖像特征。采用殘差學習法可以讓神經網絡更高效。
每個多尺度殘差網絡的輸出都被用作全局特征融合的分層特征，最終，所有這些特征都在重模組化型中用于修複高分辨率圖像。
作者在沒有任何初始化或技巧的情況下，用DIV2K資料集訓練網絡，證明了這可以解決我們上述提到的第一問題：複現性差。
可以看看論文中給出的結果：
在其他低級計算機視覺的任務中的結果也可以拿來對比，這個方法對作者來說最大的意義就是開創了一個用于圖像修複的單個多任務模型。
五：級聯殘差加持的快速、準确、輕量級的超分辨率網絡
Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network
http://openaccess.thecvf.com/content_ECCV_2018/html/Namhyuk_Ahn_Fast_Accurate_and_ECCV_2018_paper.html
首先向大家展示不同基準算法在Mult-Adds和參數數量方面的對比：
這篇文章的主要貢獻也顯而易見，就是提供了一個輕量級的網絡，作者稱之為CARN（Cascading Residual Network，級聯殘差網絡）。
它具有以下三個特征：
● 全局和局部級聯連接配接
● 中間特征是級聯的，且被組合在1×1大小的卷積塊中
● 使多級表示和快捷連接配接，讓資訊傳遞更高效
然而，多級表示的優勢被限制在了每個本地級聯子產品内部，比如在快捷連接配接上的1×1卷積這樣的乘法操作可能會阻礙資訊的傳遞，是以認為性能會下降也在情理之中。
高效的CARN
為了提升CARN的效率，作者提出了一種殘差-E子產品。
這種方法和MobileNet類似，但是深度卷積被替換為了分組卷積。因為分組卷積中間必然有trade-off，是以在使用者可以選擇合适的分組大小。
為了進一步降低參數，論文中用到了一種與遞歸神經網絡相似的技巧，就是将級聯子產品的參數共享，讓子產品高效遞歸。
△ 通過将普通殘差塊更改為高效殘差塊，可以精簡操作數量
CARN的處理結果如下：
六：SRFeat：具有特征識别的單個圖像超分辨率
SRFeat: Single Image Super-Resolution with Feature Discrimination
http://openaccess.thecvf.com/content_ECCV_2018/html/Seong-Jin_Park_SRFeat_Single_Image_ECCV_2018_paper.html
在這篇論文中，作者主要提出了一種方法，部署一個可以在特征域中起作用的額外的辨識器。
作者表示，與像素上的均方誤差相似，VGG特征中的均方誤差不足以用來完全表示特征圖的真實特點。是以，他們在特征圖中加入了對抗性損失，并将其命名為“SRFeat”。
作者通過兩個步驟訓練了生成器：即預訓練和對抗訓練。
在預訓練階段，作者通過最小化均方誤差損失來訓練網絡，通過預訓練步驟得到的網絡已經能夠實作高PSNR，然而，它不能産生看起來令人滿意的帶理想高頻資訊的結果。
在随後的對抗訓練階段，需要最小化這樣一個損失函數：它包含了視覺上看起來相似的損失、圖像圖像GAN損失和特征GAN損失。
使用ImageNet預訓練生成器，再用DIV2K進行進一步訓練後，結果如下：
SRFeat的結果看起來更優秀一些。
原文釋出時間為：2018-10-13
本文作者：關注前沿科技
本文來自雲栖社群合作夥伴“
量子位”，了解相關資訊可以關注“
”。