新智元報道
編輯：時光
【新智元導讀】最近，浙大研究團隊實作了對視訊中的人像進行改變，調整參數可以擴大或者縮小。
視訊可以瘦臉？來看看究竟怎麼回事。
這是美國女演員詹妮弗·勞倫斯（Jennifer Lawrence），左邊是youtube上的一段原視訊，右邊則是「瘦臉」之後的她。
微圓的下巴變成了尖的，瓜子臉快成錐子臉了，似乎也顯得老了一些。
既然能「瘦臉」，那是不是也可以「寬臉」呢？
沒問題，而且效果拔群，都快要變成國字臉啦。
我們再來給小紮變一個：
一邊是「寬臉」，一邊是「瘦臉」，嘿，中間那個才是螢幕中熟悉的他。
變臉
近年來，各大社交媒體流行短視訊，如視訊号、抖音、快手等等。
那麼，除了自帶美顔、濾鏡功能之外，如何對視訊中的人物肖像進行數字化修飾？
因為視訊是動态性，技術恐怕沒有平面美圖那麼簡單。
最近，一項肖像視訊編輯的研究發表，分享了這種視訊人臉擴縮技術。
研究主要由浙江大學計算機輔助設計和圖形學（CAD&CG）國家重點實驗室人員完成，參與研究的還有英國巴斯大學。
論文連結：https://arxiv.org/abs/2205.02538
正如作者所言，「研究的目标是根據現實世界中的自然面部變形，通過編輯肖像面部的整體形狀，生成高品質的肖像視訊重塑結果。」
團隊的訓練環境為一台配有32GB記憶體的AMD Ryzen 9 3950X的台式電腦。
其中，OpenCV的光流法負責運動映射，并由StructureFlow架構進行平滑處理。人臉對齊網絡（FAN）負責特征點估計，而Ceres Solver用于解決優化問題。
與基線方法比較。給定一幀人像視訊的架構（a），人像重塑方法會在鼻尖附近産生僞影（b），因為鼻子遮擋了側面，而作者的方法（c）可以使用相同的整形參數産生令人滿意的結果。
與僅使用MLS的方法（a）、隻使用優化的方法（b）和作者的方法（c）相比較。
雖然，MLS方法僅確定了人臉邊界的一緻性和視訊穩定性，網格優化在校正背景失真方面是有效的。
但是，作者的方法在背景分離、扭曲和人臉邊界一緻性方面取得了較好的效果。
通過與不固定輪廓網格點的方法（a）和僅使用稀疏輪廓點映射的方法（b）和作者的方法（C）比較。
可以看出，作者提出的方法在性能方面取得了更好的效果，面部邊界一緻性和重塑一緻性。
整個研究過程，主要包括2個階段：穩定面部重構，以及連續視訊重構。
在第一階段，作者從整個視訊估計面部剛性姿勢變換。
然後，聯合優化多個幀，進行準确的面部識别重構。
這樣，這種方法就從重塑一張單眼圖像擴充到重塑整個圖像序列。
緊接着，在整個視訊中恢複面部表情。
在第二階段，作者首先重塑了重構的3D人臉，使用參數重塑模型人臉的權重變化。
然後，利用重構後的3D人臉引導視訊幀的翹曲。
結果表明，作者提出的方法可以穩健地生成連貫的重塑肖像視訊，而基于圖像的方法很容易導緻明顯的閃爍僞影。
這種系統的一個有用部署是實作實時變形，必要的計算資源克服了「實時」變形的挑戰。
如此，大大友善了社交媒體的肖像視訊編輯和視覺效果。
這将在視訊演講、電商主播等方面有廣闊的應用前景。
研究團隊
浙大計算機科學與技術學院的金小剛教授為論文通訊作者。
金小剛為教授、博導，他所在的CAD&CG（計算機輔助設計與圖形學）實驗室隸屬于浙大計算機科學與技術學院。
他的研究主要聚焦在計算機動畫、計算機圖形學、計算機輔助幾何設計等。
根據官網頁面顯示，他在電影特效模拟、布料動畫和虛拟試穿、昆蟲群模拟、交通模拟和自動駕駛等具體表現，也有着濃厚的研究興趣。
另外，他還對人群與群組動畫、隐式曲面模組化與應用、創造性的模組化、Sketch-Based模組化、紋理合成等有所研究。
其合著的《計算機真實感圖形的算法基礎》一書獲2001年國家科技圖書二等獎。
參考資料：
http://www.cs.zju.edu.cn/csen/27059/list.htm
https://www.unite.ai/restructuring-faces-in-videos-with-machine-learning/