天天看點

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

本文來自微信公衆号

“新智元”(ID:AI_era)

7月20日是阿波羅登月51周年。1969年7月20日,尼爾阿姆斯特朗成為登月第一人,他在月球上邁出的一步是令人難以置信的一步。

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

想當年,阿姆斯特朗的聲音通過電視傳到了世界的各個角落,并寫入曆史:「對一個人來說,這是一小步,但對人類來說,這是一次飛躍。」

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

觀看阿波羅登月的所有曆史性鏡頭令人興奮又激動,但有時觀影品質體驗并不是那麼好。盡管NASA緻力于恢複和增強一些最流行的阿波羅影像,但其中一些鏡頭仍然模糊不清。

近日,一位YouTube名為DutchSteamMachine的照片和電影恢複專家,使用 AI 技術來增強阿波羅原始影像的效果,進而制作出清晰,生動的視訊剪輯和圖像。

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

他告訴《今日世界》雜志,「我想提供一個前所未有的複現舊影像的體驗。」

登月鏡頭像素提升至60 FPS,如同觀賞1080p的影片

一起來感受下Charlie Duke 和 John Young一起進行的阿波羅16号月球車穿越過程中的增強鏡頭,通過AI修複,最初以每秒12幀(FPS)拍攝的鏡頭已提升到每秒60幀。

看看這凹凸不平的月球,如此清晰的畫面簡直令人驚歎,第一視角讓人身臨其境。

在增強的阿波羅15号 Hadley Rille 着陸點景象中,月球表面的清晰景象讓人震撼,每一個坑窪都清清楚楚,即便沒有VR眼鏡,也完全讓你感受到自己登上了月球。

再看尼爾阿姆斯特朗在Apollo 11 進行登月的「第一步」視訊的增強版中由月球子產品内部的16mm錄影機拍攝的清晰度如何?

登月第一人的腳重重地踏在月球表面,右腳後揚起了土的畫面都那麼清晰。

不僅如此,這些錄像還同步了特定任務的原始音頻,如果仔細聽,可以聽到宇航員說話的聲音。

通過AI高清還原的阿波羅号的鏡頭,帶我們去月球遊玩了一圈。

視訊是怎麼修複的?用了AI開源工具DAIN

DutchSteamMachine使用的AI稱為深度感覺視訊幀INterpolation,簡稱DAIN。這是一個免費開源的的項目,并且不斷得到開發和完善。

DAIN:深度感覺視訊幀插值(DAIN)模型,通過探索深度資訊來顯式地檢測遮擋。該項目開發了一個深度感覺流動投影層,優選取樣更近的物體,以合成中間流插補視訊幀。

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

開源位址:

https://grisk.itch.io/dain-app

運動插值或運動補償幀插值是視訊處理的一種形式,其中在現有幀之間生成中間動畫幀,以使視訊更加流暢,補償模糊等。

DutchSteamMachine表示,「人們已經使用相同的AI項目将1900年代的舊電影錄音帶入了高清和彩色的生活。這項技術似乎适用于許多新的鏡頭,這是一件了不起的事情。」

此前,90後程式員大谷用AI修複了100年前老北京影像,并還原影視原聲也曾是火出了圈,其中也用到了DAIN技術。

這位作者在這裡面一共用了3個在GitHub上開源的AI程式,第一個是負責做補幀的DAIN,第二個是做分辨率擴增的ESRGAN,第三個是上色的DeOldify,綜合到一起才做成了這個視訊。

使用AI進行修複需要一個功能強大的高端GPU才能完成。DutchSteamMachine解釋道,「短短5分鐘的視訊可能需要6到20個小時才能完成,但結果不言而喻。」

他闡述了他是如何進行這項工作的:

1.尋找品質最高的源視訊,恰恰作者找到的這些源視訊是高比特率的720p視訊檔案,因為在盡可能高的源視訊進行編輯是更加有助于還原視訊高清晰度。

2.找到拍攝鏡頭的幀率,通常可以在NASA文檔中找到。由于有時幀率似乎不正常或波動,并非總是按預期運作。是以,找到幀率的最佳方法是聽宇航員正在談論的地标,并将鏡頭與之比對。

3.将源檔案分成單獨的PNG幀,将它們與輸入幀率(1、6、12或24)以及按插值率(2x,4x,8x)所需的輸出幀率一起輸入到AI。AI開始使用GPU,并檢視兩個連續的真實幀。

4.應用顔色校正,因為源檔案通常帶有藍色或橙色。再将素材與音頻同步。

DutchSteamMachine會在業餘時間完成這項工作,并将其釋出到他的YouTube首頁。他還有一個Flickr頁面,其中包含更多增強的圖像,每張圖像重制了過去的景象,令人着迷。

阿波羅登月51周年,程式員用DAIN技術還原阿波羅登月高清影像,效果震撼

Flickr:

https://www.flickr.com/people/steamarchive/

DutchSteamMachine希望「為将來保留過去」,期待他下一個AI修複視訊~

參考連結:

https://www.sciencealert.com/watch-this-old-apollo-footage-get-upgraded-into-a-60-fps-masterpiece

開發者社群的小夥伴大家好,相信大家閱讀了上面的文章後一定對視覺AI技術有了新的認識,如果大家對視覺AI能力感興趣,歡迎通路

視覺智能開放平台

進行AI能力的線上體驗及調試。

阿裡雲視覺智能開放平台

(vision.aliyun.com)是基于阿裡巴巴視覺智能技術實踐經驗,面向視覺智能技術的開發與應用使用者,為其提供好用、易用、普惠的視覺智能API服務,幫助企業和開發者快速建立視覺智能技術的應用能力的綜合性視覺AI算法平台,平台目前上線13個類目,100+種AI算法,其中就包含了

視訊超分辨

視訊調色 人臉口罩檢測

以及

服飾分割

等熱門能力,歡迎前來體驗。

繼續閱讀