很快，遠處的一個黑點變成了清晰的火車頭，形形色色的旅客們湧了上來。
火車減速，沿月台緩緩停下，車廂門打開，奧古斯特·盧米埃爾夫人領着兩個穿白衣服的孩子走進了車廂......緊接着，一個穿潔白冬裝的少女走了過來，無意間看到了錄影機，她流露出害羞的表情，悄悄的躲過了鏡頭......
沒有複雜的拍攝技巧，沒有豐富的電影語言，一個簡單的火車進站的縱深鏡頭，真實呈現了19世紀90年代法國旅客候車時的情景。
這部《火車進站》是由盧米埃爾兄弟執導的世界上第一部電影，隻有50s的黑白無聲影片在當時那個年代給人們帶來了極強的新鮮感，如今經過4K修複仍有一種濃厚的曆史韻味。
電影修複技術經過20年的發展，使大量經典、重要且珍貴的膠片電影擺脫了蒙塵的命運。《海上鋼琴師》《永不消失的電波》《英雄本色》《阿飛正傳》等影史經典以全新的面貌重映銀屏，帶回了一代人的青春記憶，也展現了老電影獨特的魅力。
《永不消失的電波》4k修複劇照
4K修複既能保留膠片電影特有的質感，又能适應電影的數字化，可以說是膠片時代過渡到數字時代的良好選擇。然而，這些經典電影“舊貌換新顔”的背後卻是巨額的成本投入，電影修複一直都是一門大産業。
一部影片要想完成4K修複起碼需要兩三個月、甚至半年之久。而“周期長”意味着“成本高”，影片《決勝時刻》從修複、投資到上映大概花了上千萬，詹姆斯.卡梅隆的傳世之作3D版《泰坦尼克号》更是耗資6千多萬元。
除了高額資金成本，人力短缺也是4K修複的一大桎梏。《開國大典》中一段10分鐘的鏡頭片段動用了600個人，而且這些人不僅要對電影藝術有很深的了解，更要知曉膠片的實體性質、化學性質、軟體修複技術以及電影特效等專業知識。
對于浩如煙海的膠片電影而言，修複工作是一項與時間賽跑的“搶救工作”。
近日，西瓜視訊與火山引擎共同釋出了“經典中視訊4k修複計劃”，表示在未來一年内，将與央視動漫和上海美術電影制片廠合作，共同利用4K技術修複《舒克與貝塔》《西遊記》等 100 部家喻戶曉的經典動畫。
哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、小鯉魚曆險記（2007）、我為歌狂（2001）、葫蘆兄弟（1986）、三個和尚、小蝌蚪找媽媽、 黑貓警長1-5集、九色鹿、舒克和貝塔1-13集、沒頭腦和不高興1-26集、邋遢大王奇遇記1-13集、西遊記、魔方大廈1-10集、猴子撈月、大盜賊1-8集、葫蘆小金剛1-6集、南郭先生、曹沖稱象、大耳朵圖圖（第一季）、人參娃娃、鏡花緣1-4集、小鯉魚跳龍門、東郭先生、鹬蚌相争、老狼請客、咕咚來了、崂山道士、 半夜雞叫、十二生肖1-13集、小虎還鄉、驕傲的将軍、超級肥皂、濟公鬥蟋蟀 、人參王國、阿凡提的故事1-13集、過猴山、大英雄狄青1-52集、狼來了等100部影片。（修複後的内容，使用者可免費在西瓜視訊觀看）
釋出會上，針對目前4K電影修複成本高、周期長、人力短缺等缺點，火山引擎多媒體實驗室研究員趙世傑給出了火山引擎“智能處理”解決方案。他表示，通過超分辨率、智能插幀、色彩增強、降噪等自研算法，AI能夠大幅提升老片的修複效率和品質。
<h3>4k修複，還原藝術本色</h3>
釋出會上，哪吒、葫蘆娃、黑貓警長，一個個經典形象以超高分辨率出現在大螢幕上，每個畫面細節都被完美呈現，光影層次也變得流暢，給現場觀衆帶來了不一樣的童年感受。
所謂電影修複，其實就是将年代久遠的膠片電影重新拷貝到數字載體上，通過修複、降噪、補光、調色等技術處理，還原和優化影片原貌的過程。
2k技術是早期電影修複的主要手段，用于清除影片雜質、噪音，讓畫面恢複最初的視覺質感；4k技術在分辨率上要求更高、更精細，除了清晰度和流暢度外，注重影片的原始色調和光影層次，為觀衆打造身臨其境的感覺。
2014年上映的《舞台姐妹》是國内首部4K修複電影，這部4K掃描、4K輸出的全彩修複影片令當時的觀衆耳目一新。後來随着修複技術的日臻完善，2019年上映的修複版《那人那山那狗》《滑鐵盧戰役》《決勝時刻》接連成為電影市場的現象級作品。從這一年開始，4K修複版電影開始走進大衆的觀影生活，電影修複技術也正式由“2K時代”邁入“4K時代”。
盡管有了AI，4k電影修複仍是一項艱難且繁重的任務。趙世傑介紹，受到拍攝條件和膠片儲存、使用過程中的損傷等因素影響，老電影普遍清晰度低、流暢度低、色彩失真、有瑕疵等不同程度的畫質問題。
在過去，老電影主要采用膠片作為拍攝和存儲的媒體。早期膠片的材料是一種比紙更易燃的硝酸片基，後來發展出醋酸片基、滌綸片基取而代之，但不管是哪種片基，在常溫狀态下都很難儲存，溫度、濕度以及搬運移動、使用播映外部因素很容易造成膠片損傷。
圖源：北京商報
目前中國電影資料館儲存了近3萬部膠片影片資料，這些膠片由于年代久遠，儲存條件不夠理想或者轉印、播放次數過多等原因，普遍存在着灰塵、污垢、黴斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題。
而膠片品質直接影響着人工修複的難度和時間成本。正常情況下，一位熟練的修複師一天最多可以修複200幀畫面，但如果膠片儲存不佳，髒污、裂痕、變色等問題嚴重，修複師一天可能隻能修複一秒（24幀），再者，如果畫面涉及夜戲、雨戲、煙霧戲、特效戲等複雜場景，修複周期更是成倍增加。在2019年上映的4K修複版《開國大典》中，一段拍攝于1945年和1945年之前的片段，全長隻有10分鐘，占用了整個修複團隊70%的時間。
由于膠片品質和所用時間不同，修複的花費也不盡相同，但一部90分鐘标準時長的4K影片修複通常需要百萬人民币以上，且從實體修補，數字化轉換，再到聲畫合成、調色，整個修複過程難度不亞于制作一部新片。
其實抛開成本問題，電影修複最大的難題是如何保留影片藝術風格和美感，4K修複版電影曾一度因為颠覆膠片的美感而引發争議。一部老電影，經過漫長的歲月侵蝕，早已變得暗淡模糊，通過AI技術把它修複得光鮮漂亮并不是難，難的是如何還原原來老電影的感覺。是以，如何賦予AI以“藝術修養”，是火山引擎所要攻克的核心問題。
<h3>四大智能算法，用“實力”讓情懷落地</h3>
“不管是修複卡通片，還是修複老電影，歸根到底，都不隻是為了提高它的清晰度，而是修複這些内容背後的記憶，通過這些記憶在幾代人之間産生共鳴和火花，才是修複的價值所在。”西瓜視訊總裁任利鋒表示，經典作品凝結了老藝術家的智慧與精神，需要我們真實地去還原和呈現。
在首批修複的動畫作品中，經典水墨剪紙動畫《葫蘆兄弟》也在其中，這部根據民間文學《十兄弟》改編的極具神話色彩的卡通片，是70、80後的共同回憶。為了保留水墨和剪紙獨有的藝術感，趙世傑坦言，他們修複《葫蘆兄弟》時多次與制片方讨論方案，經過反複測試和調優才達到理想效果。
在算法方面，為了防止“誤傷”水墨朦胧的藝術效果，他們在消除瑕疵算法上沒有設定很高的強度，而是“故意”漏掉一部分瑕疵交由人工輔助處理。對損傷嚴重的老片來說，徹底消除瑕疵需要投入大量人力。火山引擎修複資料顯示，算法能夠直接消除95%以上的瑕疵，餘下的經過人工标注後再調整算法做二次優化。
據了解，此次4K修複使用了火山引擎智能處理産品中的部分技術能力，通過超分辨率、智能插幀、智能降噪、色彩增強等算法增強視訊畫質。其修複過程大緻為，先利用視訊降噪算法做前期處理，再進一步通過幾類不同的超分辨率算法增強将畫幅擴大到4K分辨率，并生成更精細的細節，最後再通過插幀算法網絡和HDR重制算法，将一個原本充斥着噪聲和壓縮損傷問題的視訊增強為一個主觀畫質舒适的4K 60幀HDR節目。以下為各項功能及優勢的簡單介紹：
智能超分：根據已有的圖像、視訊資訊重構缺失的細節，解決老片普遍存在的模糊、清晰度差、分辨率低的問題。
超分辨率 (Super-Resolution，簡稱超分）在視覺處理方面的廣泛應用，使其有了非常成熟的解決方案。火山引擎的技術創新主要展現在時域模組化和自适應處理。前者可自動生成恢複出額外的細節，後者可對視訊或圖像進行“區域分片”處理，以確定不同視訊/圖像區域的風格和美感。
智能插幀：使用深度學習算法，将低幀率視訊通過插幀的方式變為高幀率視訊，讓視訊變得更順滑流暢。
老卡通片容易出現卡頓、流暢度不佳的現象，主要是因為影片繪畫幀數少。智能插幀技術的功效就是通過分析前後幀的動态和内容，生成中間幀，進而提升視訊幀率和流暢度。關于動畫紋理少的問題，現階段的解決方案難以判斷前後幀對應的運動塊，針對這個問題，火山引擎采用塊光流進行優化，提高了插幀的精準度。
視訊降噪：消除膠片存放以及轉錄過程中帶來的各種噪點以及閃爍等缺陷。
常見的視訊降噪算法在消除噪聲的同時，容易對紋理區域有破壞，火山引擎方案通過對紋理、噪聲的智能分析，在去噪的同時盡可能地保留視訊原有紋理不受影響。
劃痕修複：對視訊中膠片的劃痕損傷進行識别和修複。
對于常見的膠片劃痕，考慮到修複難度和效果，火山引擎采用了“算法+人工”相結合的解決方案。從現有研究來看，如果使用純AI技術進行修複，密集且微小的劃痕很難被全部發現，也容易出現“誤傷”的情況；相對來說，人工修複的效果會更好，但它需要更多的時間和資金，效率反而降低了。火山引擎的方案是先使用算法初步修複小劃痕，人工标注算法再“查漏補缺”，修補大的劃痕，實驗證明，算法對通過人工标注的結果進行再修複，所達到的效率和效果都是最優的，而這一點也恰好展現了火山引擎“雖有先進音視訊技術，卻不唯技術”的理念。
鋸齒修複：針對影片下采樣時出現的鋸齒線條和頻譜混淆，有針對性設計了一個獨立算法。
鋸齒修複所要解決的關鍵問題是鋸齒定位。與劃痕不同，并不是每一張圖像都會出現鋸齒線條。火山引擎多媒體實驗室團隊經過多次嘗試和實驗，發現鋸齒效應通常是由數字化掃描不精準引入的，目前業界的修複算法和工具都沒有相對應的解決方案。是以火山引擎針對性地設計了一套優化算法，使鋸齒的修複效果得到了很大的改善。
SDR To HDR：針對品質較低的視訊，從色彩、對比度、細節及畫面層次等次元進行分析，對低質問題進行自适應處理，提高源視訊的品質和轉碼後視訊品質。
無論是産業界，還是學術界，從現有的SDR視訊中恢複更高動态範圍和色彩廣度的HDR視訊的需求一直在持續增長。一般來講，如果标準動态範圍沒有太大提升，很可能就會出現畫面像素過多，品質不高，且無法呈現更豐富的層次和細節等影響。與SDR相比，高動态範圍（High Dynamic Range，HDR）可以提供更豐富的細節，更寬廣的色域和更自然的色彩過渡，呈現更高品質的的圖像。
<h3>火山引擎，與生俱來的視訊能力</h3>
火山引擎是位元組跳動旗下的企業級技術服務平台，圍繞音視訊技術搭建了視訊點播、veImageX、企業直播、視訊直播、實時音視訊、雲編輯、智能處理于一體的視訊雲産品矩陣。視訊雲屬于火山引擎中台層面的服務，其最大的優勢是擁有抖音、西瓜視訊、今日頭條等實戰場地，能夠在豐富的場景下不斷疊代、打磨音視訊能力。
火山引擎視訊雲産品負責人Keith此前在接受媒體采訪時表示，“我們會在抖音和西瓜場景中，不斷去探索視訊播放體驗的極緻，同時解決這個過程中出現的大規模問題。而這些問題的解決方案，我們會把它沉澱成方法論，然後融合到火山引擎視訊雲的産品中去。”
所有音視訊産品發展到一定規模後，其突破點一定是“細節”的處理，早在2016年，位元組跳動就上線了大規模測試平台A/B測試，為位元組跳動算法和産品提供檢驗和優化的平台。A/B測試連接配接抖音、西瓜視訊等全線業務後，每天開展上萬場測試，單日新增實驗數量最高超過了1500個，覆寫500多個大大小小的業務。此次4K修複技術用到的智能插幀、智能超分、智能降噪等算法已經過了A/B測試及多平台多場景的千錘百煉。
标準被譽為高科技産業王冠上的寶石。誰在标準中擁有更多專利，在産業中就擁有更大的話語權與主動權。正因為如此，各大科技巨頭都高度重視标準制定，将相關專利技術視為核心資産。
在國際标準H.266/VVC貢獻者排行榜上，位元組跳動排名第三，僅次于高通和華為。
作為一家沒有參與上一代視訊編解碼标準開發的網際網路公司，位元組跳動實作了從标準跟随者到制定者的跨越。而在新一代視訊編解碼标準制定過程中，位元組跳動發起的100多項技術提案獲得H.266/VVC标準采納，形成一系列原創性技術。
除了标準化工作的重要貢獻之外，火山引擎多媒體實驗室團隊在H.266/VVC商業化落地方向也做出了積極的貢獻。
早在2019年6月，火山引擎已經完成滿足點播場景應用的自研編碼器BVC第一個版本，該版本與x265編碼器相比，在相同計算資源下，針對大量的1080p高清視訊，BVC編碼器可以将平均碼率下降33%。之後，BVC經過不斷疊代，性能又有大幅提升。除了自研編碼器，自研解碼器也已經配套完成，在高端手機上可以做到實時流暢播放高清和超高清視訊。
H.266标準之後，火山引擎對視訊編碼技術仍在進一步探索，目前側重的兩個方向，一個是基于新興深度學習的視訊壓縮（也包括深度學習和傳統混合視訊編碼架構的結合），另外一個是基于傳統混合視訊編碼架構技術的繼續挖掘。盡管還隻是剛剛開始，但已經取得了突破性的進展：
基于深度學習的自适應濾波器DAM算法，擷取15%以上的性能增益；
基于混合視訊編碼架構融合多項技術，獲得超過13%以上的性能增益。
其中，自适應濾波器(DAM)算法，主幹是基于殘差單元堆疊的深度卷積網絡，輔以自适應模型選擇以最大程度适應特性複雜的自然視訊。所謂殘差單元是指通過引入跳層連接配接，允許網絡把注意力放在變化的殘差上，這與視訊圖像幀之間的殘差有異曲同工之妙，比如武林高手決鬥，“劍光一閃”，每一幀圖像絕大部分内容是相同的，閃動的劍光形成殘差，這也是視訊編碼壓縮的重點關注對象。
實驗結果顯示，相比H.266/VVC最新标準，位元組跳動的DAM解決方案能夠為視訊編碼性能帶來顯著提升，亮度信号Y可實作10.28%的性能增益，兩個色度信号U和V，性能增益也分别達到28.22%和27.97%，在視訊品質有所優化的同時，至少還可縮小13%的資料體積。
火山引擎多媒體實驗室的各項研究成果，也将通過BVC編碼器的更新換代投入應用，包括抖音、西瓜視訊、今日頭條等 App的視訊類内容處理，以及雲計算、雲遊戲等基礎架構領域，為使用者帶來更高清畫質、更流暢的視訊體驗。
<h3>小結</h3>
火山引擎定位為位元組跳動對外提供技術服務的視窗，從統一的基礎服務、技術中台、智能應用和行業解決方案四個方向面對B端提供技術支撐。在過去九年，位元組跳動沉澱了大量增長方法、工具和技術能力，這些能力在火山引擎上有機地組合成為了 60 多款單品，被統稱為『智能增長技術』。如今數字化轉型和企業服務行業迅猛發展，火山引擎『智能增長技術』亟需走向市場，接受打磨和考驗。
火山引擎啟動大規模修複經典4k中視訊，擴大了其音視訊能力的應用範圍，同時也為推動中國文化遺産保護做出了貢獻。老電影修複是一項與時間賽跑的“搶救工作”，很多珍貴、重要的經典影片遺産再不修複就毀了。 2006年，中國電影資料館牽頭啟動“電影檔案影片數字化修護工程”項目，率先開始了發現、收集、拯救、儲存中國膠片電影的工作，截止目前已經修複了500多部2K以上的國産電影，但要想赢得這場“競賽”，提升AI技術能力終究是根本解決之道。
雷鋒網雷鋒網雷鋒網