天天看點

AI超清修複張國榮《熱·情》演唱會,22年前哥哥面部和舞台高度還原

AI超清修複了張國榮《熱·情》演唱會。

無數粉絲聚集在手機電視螢幕前重溫那場經典。

這便是昨晚,在張國榮辭世19周年紀念日所上演的一幕:

可以看到前後對比明顯,修複後的張國榮臉部、舞台等細節清晰可見。

AI超清修複張國榮《熱·情》演唱會,22年前哥哥面部和舞台高度還原
AI超清修複張國榮《熱·情》演唱會,22年前哥哥面部和舞台高度還原

作為張國榮生前最後一場,它的反響空前絕後,是無數歌迷心中的經典之作。

在聽說騰訊修複了這場演唱會之後,有粉絲激動地表示“高興地吃不下飯”。

在昨晚的現場直播中,不少歌迷更是直言淚奔:

“感謝AI修複師們的努力,我們好像瞬間回到了22年前的舞台現場,得以再次感受哥哥的絕代風采。”

修複這場演唱會有什麼難點?

修複曆史影像作品甚至殘損影像,對于經驗豐富的騰訊多媒體實驗室來說挑戰并不大。

他們已經參與過《康熙王朝》、《天下人家》等多部經典影視劇的高清修複工作。

而這次的唱片公司寶麗金珍藏的《熱·情》演唱會母帶和網上流傳的視訊,畫質也是普遍欠佳。

但其中最大的難點還是

演唱會視訊中的色彩、畫面切換太快

如何才能給觀衆帶來融入其中的沉浸感體驗,最大限度地還原原視訊的清晰度?

來自騰訊的修複師們一共用了四大步:智能分析、畫質修複、畫質增強和智能編碼。

AI超清修複張國榮《熱·情》演唱會,22年前哥哥面部和舞台高度還原

具體來說,首先要利用多種智能評估算法對視訊内容進行全方位、多元度分析,評估視訊的運動和紋理複雜度、壓縮失真程度等。

得到分析結果後,再利用畫質修複子產品的多種智能算法(騰訊自研),修複各類破壞畫質的主要因素,包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題。

這其中比如劃痕修複就存在諸多難點。一方面劃痕修複不可逆且成本高昂;另一方面目前缺少龐大的劃痕公開資料庫,算法難以調優,建設成本也非常昂貴。

為此,實驗室專門設計了針對性的多方向資料增廣方案。方案包括劃痕的裁切及合并、随機尺寸、随機模糊程度、局部及全局随機亮度調整、随機透明度調整等。

緊接着,畫質增強子產品便會選擇最佳視訊增強算法,對畫面進行多元度畫質提升,在空間和時間上提升視訊的分辨率和幀率,在空域上提升細節清晰度、色彩豐富度。

這其中需要駕馭和平衡CNN(卷積神經網絡)和GAN(生成對抗網絡)兩種智能算法。

CNN是經過大量圖像資料訓練而成的熟練工”,它修複的結果比較真實,但有時細節會不夠豐富;而GAN經過自我博弈成長而來,它修複的結果更為豐富細膩,但有時會顯得不太真實。

在完成視訊修複及畫質增強後,智能編碼子產品可以通過自适應編碼在減少輸出檔案大小、視訊傳輸成本的同時,保證視訊的主觀品質不受影響,實作最佳的畫面效果。

從歌迷們的反響來看,最終呈現的效果可以說是讓他們感到非常滿意。

AI超清修複張國榮《熱·情》演唱會,22年前哥哥面部和舞台高度還原

不少人還表示:

“可不可以把告别演唱會和98年的那場也修複了?真的好期待。”

關于騰訊AI修複實驗室

騰訊多媒體實驗室,是騰訊旗下的多媒體通信和處理研發團隊,專門研究多媒體資料傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領域的技術與産品化。

實驗室的總經理則是劉杉博士,她是騰訊首位女性傑出科學家、IEEEFellow,也是全球音視訊領域的技術帶頭人。

劉杉博士大學畢業于清華大學電子工程系,碩士和博士畢業于美國南加州大學,研究方向包括音視訊、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統和智能化應用。

在劉杉博士的帶領下,騰訊多媒體實驗室也多次參與國際國内行業标準制定,包含多媒體資料壓縮,多媒體傳輸、系統與5G,以及多媒體AI等。

自2018年參與H.266/VVC标準制定以來,該實驗室已有超過500項提案被多個國際标準采納。

繼續閱讀