雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
潮起浪湧，拍擊礁石。
你以為這是慢動作錄制的自然片段？
非也。
隻要一張靜态風景照，幾分鐘之内，AI就能還原出這自然界的壯闊動态。
延時攝影，慢動作效果，一圖即可複現。
畫質是清晰的1080p，入門門檻卻不高，僅需一個GPU和幾百兆位元組的預訓練資料。
紀錄片缺素材，後期制作太麻煩？有了這隻AI就不怕了。
這項來自日本築波大學的研究，登上計算機圖形學頂會SIGGRARH Asia，預訓練模型和代碼均已開源（位址見文末）。
還原自然的雲卷雲舒
這隻AI，專注于自然界雲與水的律動。
△輸出
△輸入
天上雲卷雲舒，水面雲的倒影也會随之移動。
不僅有空間移動，晨光暮色，亦能動态呈現。
△4倍速
像不像記錄片裡的片段？
不僅如此，天空雲湧，水面潮起，在這場AI的魔術表演中，就像在自然界中一樣兩不相誤。
與前輩作品相比，這樣的表現完全是大師級别。
△上排為前輩作品，下排為新方法
難怪網友驚歎：這太美了！
原理
這一魔法的實作，需要以下相關的工作：光流預測、風格遷移、視訊預測等。
光流是一種描述圖像中各像素運動速度和方向的方法，根據物體相鄰兩幀的差異可以計算出圖像的光流，同樣也可以根據光流推測是視訊下一秒可能的樣子。
風格遷移通過感覺損失的反向傳播來優化輸出圖像，在保留源内容的前提下，改變圖像的風格，而本文中，風格遷移的主要作用是對圖像中變化部分的顔色進行更改。
去年有人提出了通過風格遷移方法實作圖像的晝夜交替、四季更疊的轉換。而輸出視訊的難度在于要實作這種變換的平滑性。
下圖展示了視訊合成的整個流程：給定輸入圖像和控制未來變化的潛在代碼，運動預測器會生成将來的向後光流（backward flows）。
這些流使輸入圖像變形，合成添加了運動的圖像，然後将它們轉換為運動循環。
但是，僅僅讓圖檔動起來還不夠，由于延時攝影的特點是時間長，在這段時間裡，天色還會變暗。
是以還要對整張圖檔的色調進行更改，不是簡單的調個色，而是要讓視訊畫面的顔色随着時間推進平滑地過渡。
這就是外觀預測器負責的工作，它能夠更改運動預測器生成圖檔的顔色，進而獲得輸出視訊。
在一般的循環推理中，錯誤會在循環的輸出幀中累積。而在這篇論文的運動預測中，這些光流在空間上是平滑的，是以對錯誤的敏感度較低。
此外，算法通過回溯到輸入圖像來重構每個預測幀，避免由于重複的顔色采樣而導緻RGB值的錯誤累積。
運動預測器
訓練運動預測器的方法非常直接，最終目标就是讓模型預測的光流場與真實光流場之間的差異最小化。
至于推理過程，首先從單個輸入圖像生成加入的運動幀，通過線性混合（linear blending）使其循環，然後對每個幀進行顔色轉換。
在這個過程中反複使用預測幀作為下一個運動預測的輸入幀，重複此過程獲得多個幀。
但是自監督的環境中預測光流場是有挑戰性的，因為這本質上是要找到兩個具有較大自由度的連續幀之間的對應關系，這很容易陷入局部最優值中，進而産生不一緻的流場。
為此，作者在預測和訓練階段都限制了輸出光流場的範圍，以一個常數除預測的光流場，限制它們的幅度範圍。事實也證明了這種方法的有效性。
外觀預測器
由于外觀預測器是使用輸入圖像和每個訓練視訊中兩幀之間任意幀來訓練的，是以需要一個潛在代碼來控制每個幀的外觀。
最終，顔色遷移圖通過輸入圖像和控制的潛在編碼來共同計算完成。這種方法避免了反複直接從輸入圖像預測導緻随時間變化的色彩。
日本團隊
論文的第一作者，是日本築波大學計算機幾何與圖形實驗室（CGG）的副教授遠藤裕紀（Yuki Endo）。
另外兩位合作者，分别是同實驗室的金森佳宏（Yoshihiro Kanamori）副教授，和豐橋技術科技大學的栗山繁（ Kuriyama Shigeru）教授。
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/live立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-05-16
本文作者：邊策 魚羊
本文來自：“量子位公衆号”，了解相關資訊可以關注“公衆号 QbitAI”