--------點選螢幕右側或者螢幕底部“+訂閱”，關注我，随時分享機器智能最新行業動态及技術幹貨----------
在這個追求高清畫質的時代，我們對渣畫質的容忍度越來越低。
在知乎上搜尋「低分辨率」、「渣畫質」，會看到一大片諸如「如何補救清晰度低的照片」、「如何拯救渣畫質」之類的問題。
那麼，将渣到馬賽克級别的畫面秒變高清，是一種怎樣的體驗？新AI 算法告訴你。
前所未有，「馬賽克」瞬間變高清
杜克大學的研究人員提出了一種 AI 算法，稱之為 PULSE（Photo Upsampling via Latent Space Exploration，通過潛在空間探索的照片上采樣）。
該算法可以将模糊、無法識别的人臉圖像轉換成計算機生成的圖像，其細節比之前任何時候都更加精細、逼真。
根據輸入的低分辨率圖檔，系統會生成一系列高清圖像
如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多隻能将這張照片縮放到原始分辨率的八倍。
但是杜克大學的團隊提出了一種新的方法，僅在幾秒鐘内，就可以把 16x16 像素的低分辨率（Low Resolution，以下簡稱 LR）小圖，放大 64 倍，變成 1024 x 1024 像素的高分辨率（High Resolution，以下簡稱 HR）圖像。
他們的 AI 工具會「想象」出一些原本不存在的特征，即使是原本 LR 照片中無法看到的細節，比如毛孔、細紋、睫毛、頭發和胡茬等，經過其算法處理後，都能看得一清二楚。
來看一個具體示例：
左圖為原始低分辨率圖像，右圖為系統建立的高清圖像
上司該團隊的杜克大學計算機科學家辛西娅·魯丁（Cynthia Rudin）說：「以前從來沒有像現在這樣，能用這麼少的像素，就創造出擁有大量細節的超分辨率圖像。」
在實際應用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們隻是用面部作為概念驗證。
但從理論上講，該技術是通用的，從醫學、顯微鏡學到天文學和衛星圖像，都可以通過該技術改善畫質。」
打破傳統操作，實作最佳效果
雖說此前已經有很多類似的低清變高清的方法，但能夠達到像素放大 64 倍級别的，還是業界首次。
傳統方法：像素比對，易出 bug
傳統方法處理此類問題時，一般拿到 LR 圖像後，會「猜測」需要多少額外的像素，然後試着将此前處理過的 HR 圖像中相應的像素，比對給 LR 圖像。
而這種單純比對像素的結果是，像頭發和皮膚的紋理這種區域，會出現像素比對錯位的現象。
而且該方法還會忽略了 HR 圖像中，感光性等感覺細節。是以最終在平滑度、感光度上出現問題，結果依然會顯得模糊或者不真實。
之前的一些方法，部分生成結果有點詭異
新方法：低清圖像「連連看」
杜克大學的團隊則提出的新方法，可以說是開辟了新的思路。
在拿到一張 LR 圖像後，PULSE 系統不會慢慢添加新的細節，而是周遊 AI 生成的 HR 圖像，将這些 HR 圖像對應的 LR 圖像與原圖對比，找到最接近的那張。
打個比方，相當于拿 LR 圖檔做個「連連看」，找到最相似的 LR 版本，那麼再反推回去，這張 LR 圖像所對應的 HR 圖像，就是最終要輸出的結果。
**原始 LR 圖檔（上），PULSE 輸出的 HR 圖檔（中）
HR 圖檔對應的 LR 圖（下）**
團隊使用了生成對抗網絡（簡稱 GAN ），它包括對同一張照片資料集進行訓練的兩個神經網絡，即生成器與鑒别器。
其中，生成器模拟它所受過訓練的人臉，提供 AI 建立的人臉，而鑒别器則獲得了該輸出，并确定它是否足以以假亂真。
随着經驗的積累，生成器的經驗會越來越好，直到鑒别器無法分辨出差異。
他們用一些真實圖像進行試驗，效果對比如下圖所示：
上排為真實圖檔，中排為将真實圖檔下采樣而來 LR 圖像
下排為 PULSE 根據 LR 圖像生成的 HR 圖像
雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。
評估：優于其它方法，得分接近真實照片
團隊在著名的高分辨率人臉資料集 CelebA HQ 上評估了其算法，用 64×，32× 和 8× 的比例因子進行了這些實驗。
研究人員要求 40 個人對通過 PULSE 和其他五種縮放方法生成的 1440 張圖像進行 1 到 5 的評分，而 PULSE 的效果最佳，得分幾乎與真實的高品質照片一樣高。
HR 為實際的高清人像資料集，得分僅比 PULSE 高 0.14
團隊成員表示，PULSE 可以從嘈雜、低品質的輸入中，建立逼真的圖像，即使原圖連眼睛、嘴巴都無法辨認。這是其他方法無法做到的。
與其它方法對比，PULSE 将細節處理得更為逼真
不過，該系統還不能用于識别身份，研究人員表示：「它無法将安全攝像頭拍攝的失焦、不能識别的照片，變成真人的清晰圖像。它僅會生成不存在但看上去很真實的新面孔。」
在具體應用場景上，除了上文提到的，該技術未來可能應用在醫學、天文學之外，對于大衆來說，擁有這項黑科技之後，就可以把 N 年前的老照片變高清。對于編輯同志們來說，更是一大福音，再也不用為找高清配圖而頭大了。
文章來源：
https://yqh.aliyun.com/detail/14790