中科院計算所、香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，近日提出了一種能夠表達幾何細節和複雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分局限性，使得生成的模型具有高品質的幾何細節并可以支援快速編輯。該研究已被計算機圖形學頂會 Siggraph Asia 2019 接收。
三維模型的生成一直是計算機圖形學領域一個熱門方向。不同于三維模型，二維圖像的生成在深度神經網絡的幫助下，已經有了高品質的結果，基于深度網絡的圖像生成方法生成的圖像已經足夠以假亂真。
例如，Deep Fake 已經可以做到非常真實的人臉替換。許多研究者嘗試将深度網絡類似地應用于三維模型的生成上，但因為缺乏有效的表示方法，生成的模型不具有精細的幾何細節。例如，基于點雲的方法，是在空間中離散分布的采樣，無法刻畫幾何模型的細節和拓撲；基于體素的方法受限于複雜度的問題，分辨率較低；基于片網的方法對模型的表面進行逼近，但是仍然無法表示連續曲面。是以，學界及業界尚未有合适的高品質的三維模型深度生成方法。
中國科學院計算技術研究所的學者在三維模型的高品質生成方法上進行探索，在三維模型的表示上有了系列的研究基礎 [1,2,3]。為了進一步生成具有複雜拓撲結構及高品質幾何的三維模型，中科院計算所，聯合香港城市大學、英國卡迪夫大學以及加拿大西蒙弗雷澤大學的研究者，提出了一種能夠表達幾何細節和複雜拓撲結構的三維模型深度生成方法 SDM-NET，解決了之前方法的一部分局限性，使得生成的模型具有高品質的幾何細節并可以支援快速編輯。
論文位址：
https://arxiv.org/pdf/1908.04520.pdf項目首頁：
http://geometrylearning.com/sdm-net/論文：SDM-NET: Deep Generative Network for Structured Deformable Mesh
該方法涉及一種新的三維模型編碼方式，同時深度生成網絡的設計也與這種編碼方式耦合在一起，完成對三維模型的生成，生成的三維模型可以直接進行編輯。圖一展示了在 SDM-NET 隐含層上插值生成的高品質結果，能夠實作模型拓撲之間的連續變換，如飛機引擎的從無到有。圖二展示了 SDM-NET 與其他方法在細節上的比較。
圖一：SDM-NET 隐含層插值生成模型結果
圖二：細節展示及對比
SDM-NET 的生成模型具有的另一大優勢是可直接編輯，如下面這段動圖所展示的，由 SDM-NET 生成的模型可以直接進行互動式的變形（如删除扶手、拉長椅腿及椅背等）。
SDM-NET 生成的模型可以直接變形編輯
研究人員在最近于澳洲布裡斯班舉行的 Siggraph Asia 2019 上展示了他們的研究成果，Siggraph Asia 是 CCF A 類會議，計算機圖形學領域的頂級會議，每年都會釋出圖形學領域中高品質的最新研究和學術成果，今年的會議吸引了将近一萬人參會，包括學者、工程師、藝術家和學生等。
被該會議接收的論文都會發表在 ACM Transactions on Graphics 期刊上。該期刊的 SCI 影響因子在 ACM 出版的所有期刊中排名第一，享有極高的聲譽，是被學界及業界高度認可的 ACM 彙刊。如下圖（來自 ACM TOG 官網）所示，SIGGRAPH、SIGGRAPH ASIA 和 ACM Transactions on Graphics 具有同樣高的品質。
方法概述
一個咖啡杯能夠由一個簡單的圓圈變換得到，如圖三所示，這是因為它們實際上是同胚的。一個咖啡杯的細節可以由變換來刻畫，研究人員便利用細節等同于變換的思想來表示三維幾何模型的細節。
同時，直接對模型整體模組化比分塊模組化要更困難，為了實作高品質的三維模型生成，論文作者将完整的模型分割為具有特定語義标簽的部件，逐一對每個部件進行模組化。
如圖四所示，為每一個部件建構軸對齊的包圍盒，将包圍盒同胚變換到被包圍的部件上，刻畫幾何細節。對一類模型（如椅子類别）的不同部件分别進行上述操作，便将模型轉換為幾個同胚集合的并集。每個标簽的部件集合對應一個同胚集合，集合中的變換進一步送到每個部件語義标簽各自的變分自編碼器（VAE）進行編碼與學習。
圖三：咖啡杯和圓圈是同胚的
圖四：對模型逐部件分析，建構網格包圍盒，通過包圍盒的變換刻畫幾何細節
三維模型不隻具有精細的幾何細節，同時還有複雜的拓撲結構。如圖五所示，研究人員通過部件包圍盒之間的支撐關系、對稱關系來對模型的複雜結構進行模組化。相比采用相鄰關系，支撐關系更能準确描述部件之間的實體支援屬性，進而保證生成的三維模型是實體上具有穩定支撐的特性。
圖五：分析部件之間的支撐關系、對稱關系對模型複雜拓撲結構模組化
将結構資訊與刻畫部件細節的變形資訊串聯在一起，得到模型部件完整的編碼，如圖六所示。研究人員進一步建構一個變分自編碼器來聯合編碼模型的幾何形狀與拓撲結構，保證生成模型的幾何與結構的一緻性。這也是第一次嘗試運用神經網絡結構，對支撐形狀結構進行編碼。最終的網絡由兩級 VAE 組成，部件層次編碼變形的 VAE 與模型層次聯合編碼幾何和結構的 VAE，用于結構化變形網格的編碼與生成，被稱作 SDM-NET。在網絡訓練完成後，可生成高品質、平滑的三維模型。
圖六：模型部件的完整編碼
結果展示
圖七：與基于點雲和片網的三維模型表示方法的比較
圖八：與基于體素的三維模型生成方法的比較
如圖八所示，作者與基于體素的三維模型生成方法做了比較，可以看到在生成模型的品質上 SDM-NET 具有很大的優勢。
下面這個動圖展示了模型插值的結果，可以看到 SDM-NET 可以實作在不同拓撲結構模型之間的插值。
SDM-NET 可以在不同拓撲結構模型之間插值
有關論文的更多細節，及論文、視訊、代碼的下載下傳，請浏覽項目首頁。
參考文獻：[1] Lin Gao, Jie Yang, Yi-Ling Qiao, Yu-Kun Lai, Paul L. Rosin, Weiwei Xu, and Shihong Xia. 2018. Automatic unpaired shape deformation transfer. ACM Trans. Graph. 37, 6 (2018), 237:1–237:15.[2] Qingyang Tan, Lin Gao, Yu-Kun Lai, Jie Yang, Shihong Xia. 2018. Mesh-based Autoencoders for Localized Deformation Component Analysis. AAAI Conference on Artificial Intelligence (spotlight). 2452-2459.[3] Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Shihong Xia, and Leif Kobbelt. 2019. Sparse Data Driven Mesh Deformation. IEEE Trans. Vis. Comput. Graph. (2019).