AI超清修複了張國榮《熱·情》演唱會。
無數粉絲聚集在手機電視螢幕前重溫那場經典。
這便是昨晚,在張國榮辭世19周年紀念日所上演的一幕:
可以看到前後對比明顯,修複後的張國榮臉部、舞台等細節清晰可見。
作為張國榮生前最後一場,它的反響空前絕後,是無數歌迷心中的經典之作。
在聽說騰訊修複了這場演唱會之後,有粉絲激動地表示“高興地吃不下飯”。
在昨晚的現場直播中,不少歌迷更是直言淚奔:
“感謝AI修複師們的努力,我們好像瞬間回到了22年前的舞台現場,得以再次感受哥哥的絕代風采。”
修複這場演唱會有什麼難點?
修複曆史影像作品甚至殘損影像,對于經驗豐富的騰訊多媒體實驗室來說挑戰并不大。
他們已經參與過《康熙王朝》、《天下人家》等多部經典影視劇的高清修複工作。
而這次的唱片公司寶麗金珍藏的《熱·情》演唱會母帶和網上流傳的視訊,畫質也是普遍欠佳。
但其中最大的難點還是
演唱會視訊中的色彩、畫面切換太快
。
如何才能給觀衆帶來融入其中的沉浸感體驗,最大限度地還原原視訊的清晰度?
來自騰訊的修複師們一共用了四大步:智能分析、畫質修複、畫質增強和智能編碼。
具體來說,首先要利用多種智能評估算法對視訊内容進行全方位、多元度分析,評估視訊的運動和紋理複雜度、壓縮失真程度等。
得到分析結果後,再利用畫質修複子產品的多種智能算法(騰訊自研),修複各類破壞畫質的主要因素,包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題。
這其中比如劃痕修複就存在諸多難點。一方面劃痕修複不可逆且成本高昂;另一方面目前缺少龐大的劃痕公開資料庫,算法難以調優,建設成本也非常昂貴。
為此,實驗室專門設計了針對性的多方向資料增廣方案。方案包括劃痕的裁切及合并、随機尺寸、随機模糊程度、局部及全局随機亮度調整、随機透明度調整等。
緊接着,畫質增強子產品便會選擇最佳視訊增強算法,對畫面進行多元度畫質提升,在空間和時間上提升視訊的分辨率和幀率,在空域上提升細節清晰度、色彩豐富度。
這其中需要駕馭和平衡CNN(卷積神經網絡)和GAN(生成對抗網絡)兩種智能算法。
CNN是經過大量圖像資料訓練而成的熟練工”,它修複的結果比較真實,但有時細節會不夠豐富;而GAN經過自我博弈成長而來,它修複的結果更為豐富細膩,但有時會顯得不太真實。
在完成視訊修複及畫質增強後,智能編碼子產品可以通過自适應編碼在減少輸出檔案大小、視訊傳輸成本的同時,保證視訊的主觀品質不受影響,實作最佳的畫面效果。
從歌迷們的反響來看,最終呈現的效果可以說是讓他們感到非常滿意。
不少人還表示:
“可不可以把告别演唱會和98年的那場也修複了?真的好期待。”
關于騰訊AI修複實驗室
騰訊多媒體實驗室,是騰訊旗下的多媒體通信和處理研發團隊,專門研究多媒體資料傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領域的技術與産品化。
實驗室的總經理則是劉杉博士,她是騰訊首位女性傑出科學家、IEEEFellow,也是全球音視訊領域的技術帶頭人。
劉杉博士大學畢業于清華大學電子工程系,碩士和博士畢業于美國南加州大學,研究方向包括音視訊、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統和智能化應用。
在劉杉博士的帶領下,騰訊多媒體實驗室也多次參與國際國内行業标準制定,包含多媒體資料壓縮,多媒體傳輸、系統與5G,以及多媒體AI等。
自2018年參與H.266/VVC标準制定以來,該實驗室已有超過500項提案被多個國際标準采納。