機器之心原創
作者：杜偉
「經典作品凝結了老藝術家的智慧與精神，值得投入大力氣做好修複。」提到 4K 經典中視訊修複時，西瓜視訊總裁任利鋒這樣說道。
「葫蘆娃，葫蘆娃，一根藤上七朵花，風吹雨打，都不怕，啦啦啦啦……」
當這首熟悉的旋律響起時，很多 80、90 後的腦海中浮現出的想必是黑白電視機版的《葫蘆兄弟》，或者是更鮮豔的彩色版本：
現在來看，無論是畫面的清晰度還是色彩的明亮度，這些稍顯「古老」的視訊已經無法滿足當代人的觀看需求了。另外，随着圖像超分辨率、FPS 提升、色彩填充等各種 AI 技術不斷地進步，越來越多的個人使用者和視訊網站想要對老視訊進行修複，比如 1080、2K 和 4K 修複，以更清晰的視角重拾舊時光。
與此同時，4K 高清裝置和 4K 視訊内容的普及也使得對經典老影片進行 4K 修複成為一大需求，修複後的影片既能保留原始質感，又可以展現更清晰的畫質、更飽滿的色彩和更棒的音效。
然而，經典中視訊何止千萬，4K 修複的工程量浩瀚，又當如何滿足人們對 4K 經典老影片的觀看需求呢？
西瓜視訊攜手火山引擎，給出了他們的答案。
10 月 20 日，西瓜視訊聯合火山引擎舉辦了主題為「重修舊好」的經典中視訊 4K 修複釋出會，會上宣布将通過技術手段，在一年内 4K 修複百餘部經典中視訊。其中，火山引擎團隊提供技術支援，修複後的視訊内容，使用者可免費在西瓜視訊上觀看。西瓜視訊也将開放入口，為普通使用者免費提供 AI 修複支援，同時對有價值的視訊提供深度的公益修複。
西瓜視訊總裁任利鋒表示，「修複經典是傳承，也是用新技術最大化還原作品，帶給大家新的感受和認知。不管是修複卡通片，還是修複老影像，歸根到底，都不隻是為了提高它的清晰度。我們想要修複的是這些内容背後的記憶，呈現幾代人因為這些記憶隔空産生的共鳴和火花。」
任利鋒。圖源：西瓜視訊
會上還公布了首批合作夥伴，包括央視動漫和上海美術電影制片廠，計劃修複的百部影片部分如下：
哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、 黑貓警長 1-5 集、我為歌狂（2001）、三個和尚、小鯉魚曆險記（2007）、葫蘆兄弟（1986）、葫蘆小金剛 1-6 集、西遊記、小蝌蚪找媽媽、小鯉魚跳龍門、大耳朵圖圖（第一季）、舒克和貝塔 1-13 集等。
目前，小鯉魚曆險記（2007）、小蝌蚪找媽媽、哪吒傳奇（2003）、黑貓警長 1-5 集、大頭兒子小頭爸爸和葫蘆兄弟等六部卡通片已經完成了 4K 修複，并可以在西瓜視訊上觀看了。
我們先來欣賞下 4K 修複後的影片《小鯉魚曆險記》片段：
給老膠片上 4K 分辨率雖難，但意義重大
在闡述 4K 影片修複的難點之前，我們先簡單羅列幾個數字，老式标清電視的分辨率僅為 720x480，也就是說一次可顯示的内容為 345,600 像素；高清電視的分辨率為 1920x1080，總像素為 2,073,600，是标清的 6 倍；具有新一代好萊塢大片分辨率标準的 4K，它的分辨率為 4096×2160，需要 8,847,360 像素。
常見的幾種标準視訊分辨率。圖源：wikipedia
從技術上來講，4K 修複需要将膠片數字化掃描為分辨率為 4096×3112 的序列幀圖像檔案，然後通過 4K 數字中間片制作方式對影像進行修複。比如，2019 年 11 月在内地上映的 4K 修複版《海上鋼琴師》就是将 35 毫米的膠片修複成 4096×3112 分辨率。說起來容易，但真正修複起來困難重重。一般來說，影片修複分為實體修複、數字修複和藝術修複三大步驟。
首先，很多年代久遠的影片膠片，不可避免地存在黴變、污染、脫色、閃爍、噪聲、色變、丢幀等損傷，還往往會有灰塵、污垢等表面問題。這是修複面臨的第一道難關，通過實體修複對老膠片進行清理、接補等工作，以待後續的數字化修複。
其次，使用膠片掃描器對實體修複完成的膠片進行膠轉數（2K 或 4K）處理。在這一環節中，利用專業軟體自動修複膠片中存在的髒點、黴斑、劃痕、等問題，然後進行顔色還原，輸出高格式的畫面鏡頭。從步驟上講，2K 修複與 4K 修複并沒有差別，隻是 4K 修複需要更多的人力和财力。有資料顯示，普通的 2K 修複（分辨率 2048×1556）完全依賴人工大概需要兩個星期才能完成一部，花費在 30 萬元左右。4K 修複（分辨率 4096×3112）的工作量是 2K 修複的 4 倍，需要兩三個月、甚至半年的時間才能完成一部。
最後，對修複影片的藝術化處理也不容忽視。有從事老影片修複工作的專業人士表示，影片修複最困難的其實不是技術修複，而是藝術修複。修複人員的藝術修養對「還原老電影的感覺」至關重要，修複後的影片不僅要表面光鮮，還有味道純正。
雖然面臨着技術等方面的挑戰，但一些具有重要文化、藝術價值以及曆史意義的經典老影片的 4K 修複很有必要。國内很早就興起了老電影修複熱，2006 年底中國電影資料館牽頭啟動了「電影檔案影片數字化修護工程」項目，上海國際電影節于 2011 年啟動國産電影修複計劃，愛奇藝等多家視訊網站也發揮自身優勢投入到老舊影視作品的修複中等。
此次，西瓜視訊聯合火山引擎發起的「經典中視訊 4K 修複計劃」，将成為老片修複大軍中的新生力量，為經典中視訊的傳承貢獻自己的一份力量。
火山引擎用到的這些 AI 算法，有什麼獨到之處？
作為位元組跳動旗下的企業級技術服務平台，火山引擎将位元組跳動快速發展過程中積累的增長方法、技術工具和能力開放給外部企業，提供雲、AI、大資料技術等系列産品和服務，幫助企業在數字化更新中實作持續增長。其中，在火山引擎技術中台的多媒體中台中，智能處理是位元組基于多年對多媒體智能處理的實踐經驗，提煉出的全流程視訊前後智能處理及增強技術，主要能力子產品包含畫質增強、視訊 DNA 等。
智能處理技術的一大子功能即是老片修複。在 4K 修複過程中，火山引擎從清晰度、流暢度、色彩和瑕疵四個方面解決老片的清晰度低、流暢度低、色彩失真和瑕疵多問題，其中多個 AI 算法的使能是關鍵，包括如下：
智能超分
智能插幀
色彩增強
消除瑕疵（視訊降噪和劃痕修複）
鋸齒修複
在這幾個 AI 算法的加持下，火山引擎針對 4K 極緻畫質體驗場景（如西瓜影院模式），提供了極緻畫質修複方案，提升源視訊的分辨率、幀率和色域，進行高品質智能轉碼，達到極緻的播放視訊畫質。
火山引擎智能處理的完整流程。
作為一項非常重要的視訊處理技術，超分辨率通過硬體或軟體的方法提高原有圖像的分辨率，目的是根據一系列低分辨率的圖像重建一幅高分辨率的圖像。基于深度學習的超分辨率算法已經是近年來研究的熱點，主流的方法一般分為單幀超分和多幀超分。
單幀超分即輸入一張圖檔，輸出其高分辨率圖檔。單幀超分辨率典型結構有預定義上采樣（predefined upsampling）、單一上采樣（single upsampling）等；多幀超分則考慮視訊前後關系，重建更多細節。但這些超分辨率方法存在一些瓶頸，當上采率比較高時，例如 16 倍，很多算法不能很好地重構出對應的高清圖像。
火山引擎的智能超分算法基于深度學習方法，根據已有的圖像、視訊資訊重構出缺失的細節。特别對于視訊任務，使用前後幀資訊并對其進行時域模組化恢複出額外的細節。在老片修複任務中，針對畫面普遍存在的清晰度差、模糊和分辨率低等問題，智能超分可以顯著提升清晰度和分辨率。相較于其他超分辨率算法，智能超分算法具有兩大優勢。
一方面，針對老片場景的模糊退化專門進行模組化，進而優化清晰度效果。效果是這樣的，720P 的源動畫經過超分辨率重建和去模糊後，達到了 4K 分辨率的超高畫質。
另一方面，對内容進行自适應處理，根據不同區域分片處理，保持原有畫風。我們以卡通片《葫蘆兄弟》為例，該片為水墨和剪紙的組合。在修複時，既要保證人物銳利，又要兼顧水墨背景的藝術效果。這對技術能力要求非常高，需要機器能夠準确地識别好前景和背景。
從如下動效圖來看，修複後（右邊）的水墨畫區域保持了朦胧感，剪紙區域提升了清晰度，彰顯了智能超分的強大超分處理能力：
視訊幀數是影響觀影體驗的重要因素之一，通常來說，機關時間内人眼看到的連續幀越多，人們對于影片會産生更真實更自然的主觀感受。也就是，幀數越大，視訊就越流暢。插幀技術可以實作低幀率視訊向高幀率視訊的轉換。
國内外也出現了很多插幀技術，如基于 SVP（Smooth Video Project）的插幀渲染可以将 24 幀 / 秒的視訊轉化為 48 或 60 幀 / 秒、英偉達的神經網絡腦補大法 Super SloMo 将幀率為 30 幀的視訊補到 60 幀、240 幀甚至更高、上海交大開源的插幀算法 DAIN 更是可以将 30 幀的視訊插幀到 480 幀。
在老片修複中，老卡通片受限于制作成本，繪畫幀數較少，一般為 15 幀以下，導緻畫面流暢度差，有卡頓感，更需要插幀算法的參與。
是以，火山引擎采用的智能插幀算法通過分析前後幀的運動和内容，對中間幀進行生成，将原先不足 15 的幀率，提升至 60 以上，大幅提升流暢度。此外，由于動畫紋理較少，正常倍幀方案難以判斷前後幀對應的運動塊，火山引擎使用塊光流進行優化，實作了更精準的插幀結果。
動畫《哪吒傳奇》中畫面的前一幀、插幀和後一幀示意圖如下：
色彩失真是老片存在的又一大問題，這主要是由以下兩個原因造成的。
其一，膠片在轉錄和數字化流程中受轉錄裝置的影響，帶來了不同程度的色彩偏移，進而背離創作者最初想要表達的畫面。
其二，老片制作流程通常基于舊的播放場景和制作标準，采用較窄的色域和較低的亮度動态範圍，導緻亮度動态範圍普遍比較低，畫面對比度也就比較差，看起來很昏暗。而如今大部分的中高端手機機型已經開始支援 HDR 播放，具有 1200 nit 甚至更高的螢幕亮度和 DCI-P3 的廣色域顯示。
針對造成老片色彩失真的兩方面原因，火山引擎的色彩增強方案進行了有針對性的處理。一方面，基于 AI 進行畫面色偏檢測和修複，還原創作者初衷；另一方面，SDR 到 HDR 的轉換（SDRToHDR）可以将畫面動态範圍和色域映射到更大的空間（峰值亮度 100nit 到最大 10,000nit，BT.601 到 BT.2020），充分利用使用者顯示裝置的能力，獲得最佳顯示效果。目前，火山引擎的 SDRtoHDR 色彩增強方案處于業界先進水準。
SDRToHDR 修複前後的《大頭兒子小頭爸爸》畫面對比如下，可以看到，右邊畫面在色彩明度和豐富度方面均有顯著提升：
消除瑕疵
由于年代久遠以及儲存不當等主客觀因素的影響，老膠片可能會出現實體和化學損傷，導緻視訊畫面布滿雪花碎片、黑線和閃動等多類型瑕疵。這時，就需要進行視訊降噪和壞點劃痕修複。
視訊在采集、剪輯、編碼、轉碼、傳輸、顯示等過程中會出現失真，噪聲就是信号采集過程中引入的一種普遍失真。降噪成為了增強視訊畫質和提升清晰度的一種手段。傳統視訊降噪算法可以分為基于空間域和基于時域的降噪，基于機器學習的視訊降噪算法也得到了越來越多的研究，如 2019 年 4 月荷蘭代爾夫特理工大學提出的深度盲去噪算法 ViDeNN 等。
對于老電影，由于膠片自身的損傷，背景上一般都會有很多壞點劃痕，比如一條條的豎線。去劃痕非常有必要。經典解決方法通常分兩步走：檢測和去除。劃痕檢測大多采用直線檢測方式，找到空間中的豎線、橫線，然後利用空間或時間插值把這條線用别的像素給補上去。
但是，相較于常見的視訊瑕疵，老片的瑕疵不僅類型複雜而且程度更嚴重，為此火山引擎結合了傳統信号處理和深度學習算法，對噪聲和壞點劃痕進行有針對性的修複：對于較小的雪花顆粒噪聲，使用傳統算法進行處理；對于較大的壞點和劃痕，使用機器學習算法進行識别和修補。
效果立竿見影，從下圖《布谷鳥叫遲了》畫面的修複對比效果可以看到，算法強力地修複了瑕疵，并且保留原有紋理不受影響：
然而算法也不是萬能的。在實際修複過程中，如果要求算法實作 100% 的處理瑕疵，那麼會很容易将一些藝術效果也識别為瑕疵，進而對影片造成了破壞。
是以，在這次老片修複過程中，火山引擎采用了算法處理和人工标注結合的方案，其中算法大概能解決 95% 以上的瑕疵問題，剩餘 5% 的瑕疵需要由人工輔助标注。然後告訴算法，再調整算法做二次優化。這樣一來，我們既可以比較徹底地消除瑕疵，也能保護影片原有的藝術風格。
不過，對損傷嚴重的老片來說，徹底消除瑕疵需要投入大量人力。以《葫蘆兄弟》為例，修複團隊在消除瑕疵的過程中看了 20 萬幀的畫面。
老片在數字化的過程中，采樣做的不好，往往會出現頻譜混淆的鋸齒效應，導緻觀感不佳。目前，業界的大部分鋸齒修複都是針對低分辨率向上采樣導緻的情況進行處理，老片中的鋸齒很多是向下采樣時出現的。是以，對于已經産生的頻譜混淆的情況，業界算法大多都沒法處理。
下圖左哪吒出世畫面中明顯的線條鋸齒正是向下采樣頻譜混淆導緻的，這一問題隻在部分場景中出現，很難定位，但不解決的話會嚴重影響觀感，也會影響其他算法的效果。是以，針對這種場景，火山方案單獨設計了一個優化算法，使畫面鋸齒效應得到非常大的改善。
我們還應該看到，每個卡通片存在的畫質問題不可能完全相同，對此火山引擎采用了「對症下藥，一片一方案」的應對方法。火山引擎多媒體實驗室研究員趙世傑解釋道，一部卡通片（以《黑貓警長》為例）可能會在分辨率、幀率、瑕疵、色彩、模糊和鋸齒中的幾個方面存在着問題，那麼就有針對性地采取超分辨率、倍幀、去噪、去劃痕和 HDR，實作最精準的視訊修複。
最後需要提到的是，4K 修複使用到的這些技術，目前已認證火山引擎智能處理向包括抖音、今日頭條、西瓜視訊、皮皮蝦 APP、圖蟲、虎撲和懂球帝等内外部的客戶提供服務，進而讓更多的企業參與到老片的修複中，為當代觀衆帶來更多的 4K 超高畫質影片。
火山引擎智能處理官方網站：https://www.volcengine.com/products/IMP
參考連結：
http://www.atyun.com/46758.html
https://www.jiqizhixin.com/articles/2020-05-10
https://cloud.tencent.com/developer/article/1089304
http://www.xinhuanet.com/ent/2019-10/21/c_1125129740.htm
https://kjt.hebei.gov.cn/www/kxpj22/kxbl56/197445/index.html
http://culture.people.com.cn/n/2013/0910/c172318-22873573.html