原創 淘系技術 淘系技術 2020-12-10
導讀：阿裡巴巴淘系技術研發了全新 3D AI 算法，可基于 2D 圖檔精準搜尋出相應的 3D 模型，準确率大幅提升10%，可降低 3D 列印、VR 看房、場景導購等領域的門檻。該研究成果已被 AI 頂會 NeurIPS 2020 收錄。
3D研究是目前業界最熱門的課題之一，是打造3D智能世界的核心基礎。在探索3D數字化家居建設的過程中，阿裡巴巴淘系技術部最新提出的2D圖搜3D模型（IBSR）方案受到學界認可，相關論文已被國際人工智能頂會NeurIPS 2020錄用發表。
IBSR旨在根據2D圖檔從給定3D池子裡搜尋出圖檔裡物體對應的CAD模型。随着3D CAD模型數量迅速增長，研究設計高精度IBSR系統意義重大。 其有利于快速還原真實三維場景，也在資料庫驅動的3D模型重建問題中扮演着至關重要的角色。解決IBSR問題的通用思路是将2D圖與3D模型映射到同一空間，并學習相似度度量函數。過去幾年，包括卡耐基梅隆大學，麻省理工，斯坦福大學等頂級學府都紛紛建立IBSR基準資料集，并投入相關研究。
動機
IBSR最大的難點在于如何克服2D圖與3D模型的appearance gap，并解耦出無紋理資訊幹擾的統一幾何表面特征表達。我們發現IBSR問題有一些特别的性質，包括（1）3D模型通常都是獨立的個體（類别）；（2）同一個3D模型現實中可能會對應不同紋理表面。這些特性在過去都未被很好的模組化學習，使得傳統方法在精細3D模型推薦上表現不盡如人意。
方法概述
針對這些特性，阿裡巴巴淘系技術提出了紋理合成驅動的多視角度量學習架構。具體來說，我們設計紋理生成的條件對抗生成網絡 (cGAN) 來為度量學習創造困難三元組 (Hard Triplets)，使網絡在訓練過程中能有效抑制2D圖豐富紋理的不利幹擾，進而更關注于物體的幾何細節特點。同時，為了使網絡學習幾何表面特征更容易，我們利用顯著性與視角注意力機制來盡可能消除2D圖檔雜亂背景與無限制的投影視角幹擾。
實驗結果
我們的方案在多個開源資料集，包括Pix3D，Stanford Cars，Comp Cars，和3D-FUTURE，都取得了SOTA的結果，并且3D模型搜尋準确率超過傳統方法約10%以上。其中，3D-FUTURE為阿裡巴巴淘系技術部主導開源的業界首個飽含紋理細節的大型3D家具模型資料集，歡迎大家使用并提取建議。
3D-FUTURE資料集連結：
https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future