近年來，深度學習技術在語音識别和圖像處理領等領域取得了突出的成果，然而在三維幾何處理領域的突破相對較少。其中一個本質的困難在于在三維幾何處理領域缺乏像二維圖像一樣規則的定義域和特征。中科院計算所的高林等人長期從事三維幾何處理的研究工作，相繼提出了兩種适于深度學習的三維模型特征[1][2]。基于這些特征，談清揚同學與高林博士等人經過聯合攻關，系統的提出了三維模型的變形分析方法。三維模型的變形可以分為全局變形和局部變形。以人體三維模型的變形為例，人的身高、體重的變化引起的變形是全局的；人的肢體動作的變化引起的變形是局部的。這兩種類型的變形反映了三維模型的主要變形模式。針對全局變形，他們結合RIMD特征[1]與變分自編碼器提出了一個新型的網絡（MeshVAE）對三維模型的全局變形進行分析；針對局部變形，他們通過使用稀疏性描述變形的局部性，在卷積網絡上定義稀疏性來對三維模型的局部變形進行分析。這些工作分别發表在CVPR 2018與AAAI 2018上。
得益于“中國科學院大學生創新實踐訓練計劃”，國科大的優秀大學生可以進入各個研究所進行實習，談清揚同學就是在該計劃（基于RGBD相機的人體運動捕獲，項目負責人是夏時洪研究員與高林副研究員）的支援下進入中科院計算所進行客座研究。 基于研究所在領域内領先的研究基礎和研究所内專家的指導，談清揚同學針對目前深度學習的熱點和難點問題開展研究。具體而言，對三維模型變形分析問題開展了系統的研究，并取得了一系列的研究成果。這對于大學生來言非常難得，也展現了國科大“高水準的科學研究中培養高品質人才”的大學生培養體制成效顯著。
論文：基于變分自編碼器的網格變形分析
摘要
随着三維模型庫規模的飛速發展，如何對三維模型進行分析成為重要的研究課題。在本文中，我們使用深度神經網絡對三維模型的變形資料庫進行分析。這些資料庫包含了大尺度與非線性的三維模型變形。我們的首次提出了一種基于變分自編碼器的網絡結構對三維模型變形資料庫進行分析，探索其本質的變形隐空間。該網絡易于訓練，并且需要的訓練模型較少。此外，我們将該模型進行了推廣，使得通過對先驗分布進行調整來得到反映模型主要變形的特征。大量實驗結果表明，我們的方法可以學習到變形模型庫的本質的分布并能在其他應用中生成具有競争力的結果，其中包括三維模型生成，三維模型插值，三維模型資料庫嵌入和浏覽。基于該網絡，在這些應用中我們的方法都優于經典的方法。
上圖中顯示了基于本文的方法可以生成高品質的三維模型。第一樣顯示了基于MeshVAE随機生成的高品質的三維模型。第二行顯示了基于 Conditional MeshVAE生成的高品質的三維模型，給定性别女和BMI指數29.8可以生成滿足這些名額的高品質的三維模型。
上圖顯示了基于本文的方法可以生成高品質的三維模型插值的結果。 第一行是是使用RIMD特征[1]直接線性插值的結果，第二行是經典的資料驅動的模型插值方法的結果[3], 第三行是本文的結果。可以看出在對具有大尺度變形的模型進行插值時，上面兩行的結果有自交或者不自然的結果出現，而本文的方法的結果是自然合理的。
上圖顯示了基于本文的方法可以有效的對三維模型庫進行低維嵌入與可視化。該資料庫中包含了具有不同的動作以及形态的三維人體模型。使用本文中的方法可以獲得一個次元中獲得超過一維的變形模式。當使用二維進行可視化時，本文中的方法可以有效的将模型根據不同的形态差別開來，并且使得具有相同動作的模型距離的比較近，并且沒有大量的空白并浪費空間。而已有的方法，如PCA，NPE，t-SNE, 存在浪費可視化空間，以及不能對模型進行有效區分的缺點。
Reference：
[1] Lin Gao, Yu-Kun Lai, Dun Liang, Shu-Yu Chen, Shihong Xia. Efficient and Flexible Deformation Representation for Data-Driven Surface Modeling. ACM Transactions on Graphics. 2016, 35(5), 158:1--158:17
[2] Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Leif Kobbelt, Shihong Xia. Sparse Data Driven Mesh Deformation. 2017, arXiv:1709.01250
[3] Lin Gao, Shu-Yu Chen, Yu-Kun Lai, Shihong Xia. Data-Driven Shape Interpolation and Morphing Editing. Computer Graphics Forum, 2017, 36(8), 19-31
原文釋出時間為：2018-04-2
本文作者：聞菲
本文來自雲栖社群合作夥伴新智元，了解相關資訊可以關注“AI_era”微信公衆号