本文來自AI新媒體量子位（QbitAI）
制作一部VR沉浸式電影時，AI能發揮怎樣的作用？
Facebook做出了一些嘗試，把基于對抗生成網絡(GAN)、風格遷移等方法的圖像生成和處理技術用到了電影後期中。
而且是部VR電影。
Facebook巴黎AI研究院最近和電影制作公司OKIO工作室、Saint George VFX工作室，以及導演Jérôme Blanquet合作，完成了一部新VR影片：《Alteration》。
AI研究員們和電影制作團隊合作，首先要解決一個最基本的問題：清晰地給電影制作團隊展示AI都能做什麼。這樣，電影制作團隊才能決定如何在影片中使用AI、用在哪裡。
他們嘗試了基于GAN的自動編碼器和風格遷移兩種特效方法，然後標明了風格遷移。
Facebook研究團隊在昨天釋出的部落格文章中說，GAN自動編碼器了雖然在科研環境中表現良好，但是生成的特效沒有達到電影制作團隊的預期。
如果你對“風格遷移”這個詞感到陌生，看了下面這張圖，一定就明白了：
風格遷移這兩年來非常火熱，研究界不停生産着讓風格遷移更真實、更具創造性的論文和代碼，各種用風格遷移來處理圖檔和視訊的App中也層出不窮。
把風格遷移用到VR電影中，面臨着兩大挑戰：
一是從技術上看，VR電影是高分辨率的360度立體圖像，這樣的圖像為風格遷移帶來了存儲和處理時間的限制，而且風格遷移在3D圖像上效果如何，也是個未知數；
二是技術團隊優化算法的依據不再是某種可量化的名額，而是導演的審美情趣。
Facebook巴黎AI研究院的技術團隊從三個方面解決來應對這種挑戰。
首先，他們選擇了17種由Julien Drevelle作品衍生出來的目标風格，要訓練一個神經網絡，用來對電影中的幀進行修改。
最初，他們訓練遷移神經網絡所用的圖像，分辨率隻有128×128像素，但是當把這個神經網絡應用到VR影片上，發現所處理的圖像尺寸非常大。是以，Facebook團隊後來用768×768的圖像重新訓練了這個神經網絡。
訓練完成後，他們通過将每個目标樣式應用于單個幀來生成高分辨率測試圖像，然後調整樣式效果的強度以建立25個不同的高分辨率輸出幀。這個過程對于導演選擇何種風格非常有效，同時FAIR也能從視訊專業角度來确定一個良好的風格遷移。
以下是一些示例，可以看到風格遷移帶來的效果。
最後，必須将模型應用于某一場景的視訊幀。在每個GPU上，這些模型大約需要100GB容量的顯存，是以他們改用CPU。總共使用了550個CPU時來編碼完成所有的幀。當然，還得確定雙眼看到的立體效果是一緻的。
在這部電影中，首次實作了對VR的風格遷移，這表明AI現在已經足夠成熟，可以用來作為電影人的創作工具。
影片昨天已經在Oculus的商店上架，Oculus Rift和三星GearVR都可以看：
https://www.oculus.com/experiences/rift/1514447601900695/
如果沒有VR裝置，上面連結中還有正常版片花可看。
【完】
本文作者：李林
原文釋出時間：2017-07-27