站在門口看一眼，AI就能腦補出房間裡面長什麼樣：
是不是有線上VR看房那味兒了？
不隻是室内效果，來個遠景長鏡頭航拍也是so easy：
而且渲染出的圖像通通都是高保真效果，仿佛是用真相機拍出來的一樣。
最近一段時間，用2D圖檔合成3D場景的研究火了一波又一波。
但是過去的許多研究，合成場景往往都局限在一個範圍比較小的空間裡。
比如此前大火的NeRF，效果就是圍繞畫面主體展開。
這一次的新進展，則是将視角進一步延伸，更側重讓AI預測出遠距離的畫面。
比如給出一個房間門口，它就能合成穿過門、走過走廊後的場景了。
目前，該研究的相關論文已被CVPR2022接收。
輸入單張畫面和相機軌迹
讓AI根據一個畫面，就推測出後面的内容，這個感覺是不是和讓AI寫文章有點類似？
實際上，研究人員這次用到的正是NLP領域常用的Transformer。
他們利用自回歸Transformer的方法，通過輸入單個場景圖像和錄影機運動軌迹，讓生成的每幀畫面與運動軌迹位置一一對應，進而合成出一個遠距離的長鏡頭效果。
整個過程可以分為兩個階段。
第一階段先預訓練了一個VQ-GAN，可以把輸入圖像映射到token上。
VQ-GAN是一個基于Transformer的圖像生成模型，其最大特點就是生成的圖像非常高清。
在這部分，編碼器會将圖像編碼為離散表示，解碼器将表示映射為高保真輸出。
第二階段，在将圖像處理成token後，研究人員用了類似GPT的架構來做自回歸。
具體訓練過程中，要将輸入圖像和起始相機軌迹位置編碼為特定模态的token，同時添加一個解耦的位置輸入P.E.。
然後，token被喂給自回歸Transformer來預測圖像。
模型從輸入的單個圖像開始推理，并通過預測前後幀來不斷增加輸入。
研究人員發現，并非每個軌迹時刻生成的幀都同樣重要。是以，他們還利用了一個局部性限制來引導模型更專注于關鍵幀的輸出。
這個局部性限制是通過錄影機軌迹來引入的。
基于兩幀畫面所對應的錄影機軌迹位置，研究人員可以定位重疊幀，并能确定下一幀在哪。
為了結合以上内容，他們利用MLP計算了一個“相機感覺偏差”。
這種方法會使得在優化時更加容易，而且對保證生成畫面的一緻性上，起到了至關重要的作用。
實驗結果
本項研究在RealEstate10K、Matterport3D資料集上進行實驗。
結果顯示，相較于不規定相機軌迹的模型，該方法生成圖像的品質更好。
與離散相機軌迹的方法相比，該方法的效果也明顯更好。
作者還對模型的注意力情況進行了可視化分析。
結果顯示，運動軌迹位置附近貢獻的注意力更多。
在消融實驗上，結果顯示該方法在Matterport3D資料集上，相機感覺偏差和解耦位置的嵌入，都對提高圖像品質和幀與幀之間的一緻性有所幫助。
兩位作者均是華人
Xuanchi Ren為香港科技大學大學生。
他曾在微軟亞研院實習過，2021年暑期與Xiaolong Wang教授有過合作。
Xiaolong Wang是加州大學聖地亞哥分校助理教授。
他博士畢業于卡内基梅隆大學機器人專業。
研究興趣有計算機視覺、機器學習和機器人等。特别自我監督學習、視訊了解、常識推理、強化學習和機器人技術等領域。
論文位址：https://xrenaa.github.io/look-outside-room/