機器之心報道
編輯：澤南、小舟
這是 B 站 AI 實驗室的最新成果。
喜歡看動漫的人經常會被一些經典作品的情節所吸引，不過畫面品質是欣賞下去的大敵 —— 那些超過十年曆史的内容自不必說，直到現在，很多動畫的實際分辨率也隻是 720p 左右，然後被拉伸到 1080i 以滿足電視台播放的需求，BD（藍光）清晰度也隻有 1080p。
究其原因，還是成本問題：在動畫制作過程中，讓分辨率提升一個級别，就會導緻所有的制作資源大幅提升，從作畫、掃描到處理和存儲，整個産業鍊條都需要軟硬體的提升。
但今天即使是手機也有個 2K 的分辨率，既然手繪動畫難以提升分辨率，那麼能不能用 AI 算法來解決這個問題？
最近，GitHub 上一個圖像超分辨率的項目火了，一個叫做 Real-CUGAN 的工具可以把動畫圖像的品質提升 2 到 4 倍，qq 上鬥圖的表情包也能給你腦補成 4k 品質。
仔細一看，這個項目來自 bilibili 人工智能實驗室。上線 20 天，star 量已達 1.5K。
項目連結：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
據作者介紹，Real-CUGAN 是一個使用百萬級動漫資料進行訓練的，結構與 Waifu2x 相容的通用動漫圖像超分辨率模型。相比目前市面上已有的通用化超分辨率算法，Real-CUGAN 的 AI 模型經過了更大體量資料集的訓練，處理二次元内容的效果更佳。
它支援 2x\3x\4x 倍超分辨率，其中 2 倍模型支援 4 種降噪強度與保守修複，3 倍 / 4 倍模型支援 2 種降噪強度與保守修複。
Real-CUGAN 全稱為 Real Cascaded-U-Net-style Generative Adversarial Networks（真實的、級聯 U-Net 風格的生成對抗網絡），使用了與 Waifu2x 相同的動漫網絡結構，但因為使用了新的訓練資料與訓練方法，進而形成了不同的參數。
具體來說，該動漫超分模型訓練先行對動漫幀進行切塊處理，使用圖像品質打分模型對候選塊進行打分過濾，得到一個百萬級的高品質動漫圖像塊訓練集。然後使用多階段降質算法，将高清圖像塊降采樣得到低質圖像，讓 AI 模型學習、優化從低質圖像到高質圖像的重建過程，訓練完畢後即可對真實的二次元低質圖像進行高清化處理。
在 GitHub 項目中，作者開源了推理階段的模型參數與推理代碼。
下面，我們來看一下 Real-CUGAN 的修複效果。
圖源：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
為了進一步檢視幾種修複方法的差距，研究團隊将 Real-CUGAN 的修複效果和 Waifu2x、RealESRGAN 進行比較。
下圖是動漫《偵探已死》中的畫面，其中幾種方法對沙發紋理的修複差距顯著。可以看到，在 Real-CUGAN 的修複結果中，沙發上的橫向條紋清晰可見，并且幾乎沒有中斷的部分：
在動漫中，人物清晰的線條對角色形象的塑造具有重要的作用。線條模糊會嚴重影響觀看體驗。以下圖為例，Real-CUGAN 清晰地修複了動漫中角色的表情線條：
當然，有些場景并非越清晰越好，比如畫面中的一些遠景，原本就是刻意虛化的。以下圖為例，Real-CUGAN 修複之後，近景處的人物形象變得更清晰，遠處的蠟燭仍然保持模糊，使得畫面更有層次感。
還有一些動漫由于年代久遠，受當時技術條件的限制，畫質着實「感人」。例如許多人的童年回憶《黑貓警長》，先前的模型 RealESRGAN（下圖第三列）已獲得了不錯的修複效果。相比之下 Real-CUGAN（下圖第四列）更好地修複了一些雜線、模糊的問題，讓畫面更加幹淨清晰。
更為重要的是這項技術想要用很簡單：你下載下傳的模型已訓練好，修改 config.py 配置參數，輕按兩下 go.bat 運作即可。Real-CUGAN 不僅可用 cuda 加速，也支援 AMD 系列的顯示卡，處理速度還很快，筆記本電腦也可以跑得起來。
雖然 Real-CUGAN 預設是隻處理靜态圖檔的，但很多人已嘗試把視訊拆解成單幀序列進行處理。如此一來，很多上古老番都能自己上手讓它們煥然一新了。
目前 B 站上已經有人上傳了一些使用新技術處理過的視訊，比如這個在 1080p BD 基礎上超分到 4K 的：
在很多電影修複之後，老番高清計劃也已在路上。B 站表示，将針對不同品類适配不同的超分算法，并且使用窄帶高清算法降低卡頓，提高流暢度。
參考内容：
https://www.bilibili.com/read/cv15031073