4:3，梅西回家了；2:1，C羅也回家了，這屆世界杯真是激烈又精彩。
但對于無法前往現場的（僞）球迷們，隻能屈身于手機、電視的平面看直播了吧？
在新技術應用一個接一個的今天，到底有沒有更新、更技術的方式，重新定義一下看個球？
試想一下：如果可以通過AR裝置，将賽況實時投到桌面上，并且随你移動，還能盡覽不同視角、不同距離的全場景球況，該是多麼過瘾的一種選擇。
噫……這是把世界杯搬到了任意桌面了麼？而且還能各個角度繞着球場看比賽——就算身在現場也做不到啊！
恭喜你，這種“上帝視角”，可能不久就能實作了。
就在最近，華盛頓大學、Google和Facebook的研究人員開發了一套桌面足球系統，能将世界杯視訊重建，轉換成動态3D視訊。通過AR裝置，可以看到渲染後的球員動作和場地效果。
擁有了這個系統，感覺宛如擁有了整個球場，這到底是怎麼做到的？
3D轉換的秘笈
桌面看球的大思路其實很簡單。
隻要充分利用球場部署的多角度相機，之後通過多視角幾何技術，對場地和玩家進行三維重建，2D世界杯就更新為3D場景了。
是以，研究人員提出了這樣的思路——
先收集Youtube上世界杯球賽視訊，根據場地線來推斷相機的位置等參數。
随後，提取視訊中的邊界線、球員姿勢和運動軌迹，将球員和場地分割，友善下一步加工。
“質壁分離”後，對球員進行單獨的渲染處理來實作立體效果。研究人員用視訊資料訓練深度神經網絡模型，在球場上重建每個球員的景深圖，為實作360度無死角看球打基礎。
最後，如果你有AR裝置……用AR裝置或者3D檢視器渲染一下，3D看球美美哒。
思路沒錯，但緊接着問題就來了：
想訓練神經網絡模型根據球員圖像來估計他的景深圖，最理想的資料集裡，應該包含着一對對的球員照片vs.景深圖。
這樣的資料集上哪找？
研究人員想到了EA出品的FIFA系列遊戲。截取FIFA遊戲引擎與GPU之間的調用資訊，不就能從視訊遊戲的架構中提取景深圖了嘛。
機智。
現在資料完備，就差個能夠預測景深的神經網絡了。
研究人員選取了“沙漏網絡模型”，用一連串殘差子產品，像一個個沙漏一樣來處理輸入，經過8個“沙漏子產品”實施降低輸入的分辨率、放大等步驟，輸出的，就是我們所需要的景深圖。
重建3D球賽，Go!
準備階段完成後，研究人員開始重建3D場景。整個流程一氣呵成，猶如進入了快餐店後廚——
大概分為以下幾步：
1.相機位置估計：用一個合成的平面場模闆預估真實場景中每幀的參數，進一步找到相機在每個連續幀中的姿态。
2.球員檢測和追蹤：提取球員的邊界box檢測到的關鍵點/骨架，基于姿态資訊對初始的邊界框進行細化，再根據提取的邊框序列預計球員的運動軌迹。
3.實時執行個體分割：預估每個球員用于深度預估網絡的分割掩碼，借助語義分割和前一步的姿态估計。
4.網格生成：将上一步的前景掩碼與原始裁剪圖像混合，放入一開始預先訓練好的神經網絡中進行訓練。
5.形成3D軌迹：減少相機位置和邊界框定位時不精确帶來的球員抖動，對3D球員軌迹進行平滑處理。
一連串操作至此，3D合成大功告成。
研究人員将此模型的3D生成結果與原視訊和不同方法合成的結果進行了對比。
渲染後得到最後的效果圖：
毫無疑問，這種方法可以得到更精确和完整的深度估計，重建的效果也最好。
美中不足
雖然場景不錯，但這項技術目前并不完善，還不能讓你随心暢看。
Bug 其實很明顯，剛在觀看效果的時候，各位有沒有看見足球？
——冇。
沒錯，目前這套系統最大的問題就是還沒有對足球進行處理，球的軌迹無法渲染出來，場上一票球員如同在踢“空氣球”。
此外，系統對球員及守門員的（位置）把控不夠準确，被遮擋的球員顯示不完整。這就導緻球員有時球員會突然消失，然後突然出現，猶如習得傳送大法。
△ 迷離消失的守門員
在論文中，研究人員表示，目前這項技術還在不斷改進和更新中，下一部的計劃是：
改善畫面重建的品質
實作實時3D重建
預估足球的位置
讓這項技術也能用于其他運動，讓籃球、橄榄球、排球等等運動的球迷也能同此待遇。
華盛頓大學出品
這項研究的論文Soccer on Your Tabletop發表在CVPR 2018上，作者有四，均屬于華盛頓大學（張亞勤母校）的GRAIL lab實驗室，分别為Konstantinos Rematas、Ira Kemelmacher-Shlizerman、Brian Curless和Steve Seitz.
△ 一作Konstantinos Rematas
如果覺得這項研究和你胃口，可移步傳送門深入挖掘。
論文位址：
http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf代碼位址：
https://github.com/krematas/soccerontable原文釋出時間為：2018-07-01
本文來自雲栖社群合作夥伴“
量子位”，了解相關資訊可以關注“
”。