©作者 | 江告
01 人體重建簡介
在元世界中構造真實的3D人體模型是建構虛拟數字人的首要任務之一。三維人體重建旨在從2D人體資訊恢複三維幾何，例如對RGB輸入進行三維重建。
重建後的三維人體，可以用于影視特效制作，實作包括動作驅動等應用。
02 人體重建經典方法介紹
經典的單視角RGB人體重建方法包括基于三維人體表示的重建，以及基于神經隐式函數的重建。
基于三維人體表示的重建使用SMPL提供人體先驗，優化相應的表示參數。
以HMR為代表，輸入單張圖檔，通過神經網絡提取出圖像特征，回歸SMPL的shape和pose參數，以及對應的相機位姿。由于任意給定的shape或者pose參數不一定真的是一個合理的人，例如姿态不一定是人類可以實作的姿态，是以添加了判别器，篩去不真實的結果。
這種方法重建高效，但受限于人體表示的表達能力，往往隻能重建赤身人體。
基于神經隐式函數利用了神經網絡從大量資料中學習先驗的能力，以及神經隐式表示靈活的表達能力，可以重建出帶有服裝細節的人體，以PIFu為代表。
PIFu能支援單視角或者多視角的輸入，且可以重建高度複雜的形狀，如發型、服裝，以及它們的變化和變形都可以用統一的方式數字化。
PIFuHD進一步提升了PIFu的細節，通過設定端到端可訓練的多級架構來解決這一限制。粗略級别以較低的分辨率觀察整個圖像，并專注于整體推理。并提供了一個精細級别的上下文，通過觀察更高分辨率的圖像來估計高度詳細的幾何形狀。可以通過充分利用 1k 分辨率的輸入圖像，重建出精細的人體形狀重建。
但這種方法往往依賴于訓練集，而高精度三維人體的資料集擷取非常困難。是以，需要一個泛化性更強、細節表達更豐富的方法來實作單目RGB的三維人體重建。
03 ICON：單視角in-the-wild RGB人體重建新方法
資料不足一直是深度學習的最大問題之一，由于現有公開資料集沒有包含大量人體GT的野外場景資料，首先構造了資料集AGORA，《AGORA: Avatars in Geography Optimized for Regression Analysis》。
AGORA使用了4240個商業人體模型，和257個兒童，包含了不同的紋理和動作。将人體模型放入了不同的場景，共渲染了14K訓練和3K測試圖像。資料不僅能提供彩色圖像，而且包含了3D groundtruth，以及注冊了SMPL-X。
ICON 是使用深度學習模型，可以從彩色圖像中推斷出穿着 3D 衣服的人。
具體來說，ICON 将 RGB 圖像作為輸入，其中包含一個分割好的的穿着衣服的人，以及估計的“衣服下”人體形狀 (SMPL)，并輸出穿着衣服的人的像素對齊 3D 形狀重建。
ICON 有兩個主要子產品：（1）SMPL 引導的穿衣人體法向預測和（2）基于局部特征的隐式表面重建。
從穿着衣服的人的單個 RGB 圖像推斷全 360° 3D 法向具有挑戰性，主要因為遮擋部分的法向需要根據觀察到的部分猜測。這是一項有歧義的預測問題，對深度網絡具有挑戰性。
對于SMPL引導的穿衣人體法向預測子產品，
輸入
和RGB圖像，輸出的是估計的法向。
首先使用現有方法PARE根據圖像得到對應的SMPL。估計出來的SMPL網格，利用pytorch3D的可微渲染器，獲得人體的正面和背面的SMPL法向圖：
建構神經網絡，輸入和RGB圖像，網絡預測穿衣人體的正面及背面法向，該法向用于進一步建構隐式表示的特征。
基于神經網絡的隐式表示子產品，輸入空間中的采樣點，以及相應的特征，由網絡輸出Occupancy表示，該表示可以由Marching Cube算法提取出顯示的網格。
對于每個采樣點，建構了一個local特征；相比于PIFu的全局特征，局部特征能表示更精細的局部細節，且能減少全局姿勢的對預測結果的影響。具體來說，local特征為
為查詢點到最近的SMPL點的符号距離值；
為該點對應SMPL的重心面法向。
為該點的法向資訊，
如果查詢點可見，則為該點投影至2D平面的法線值，如果不可見，就為背面的法線值，這個操作可以讓預測的結果更接近真實，而不是不論是否可見都直接使用預測的法向。
注意，這樣建構的
與全局姿勢無關。
在訓練過程中，還對SMPL的拟合結果進行微調，主要是優化SMPL法向和預測的clothed-body法向的差異和輪廓的差異：
同時也微調法向，方法是使用優化後的SMPL，得到更好的法向。SMPL參數的微調和法向的微調在訓練時交替進行。
網絡的訓練Loss為
對預測的法向和GT法向計算L1 Loss。
感覺Loss
用于提升細節，由2016年李飛飛的文章《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》提出：
04 ICON的優勢
相比于PIFu系列的方法，ICON可以以更少的資料實作更高的重建效果，這得益于精細設計的局部特征結構，表達了更精細的局部特征而不受全局特征的影響。
訓練需要更少的資料也提高了網絡的泛化性，這對資料極度缺乏的人體重建人物是個很好的解決思路。
同時ICON還提供了建構人體Avatar的方法。輸入單人的序列視訊，對圖像可見的區域重建，重建後使用SCANimate建構可驅動的人體化身。
相比于早期制作人體化身需要高精度的采集裝置和一系列的繁雜操作，所需更簡單的裝置，端到端的生成方法，這給低成本的數字化身制作提供了可行的方案。
缺陷。由于 ICON 之前利用的SMPL的參數化模型，遠離身體的寬松衣服可能難以重建。
雖然 ICON 對身體拟合的小錯誤具有魯棒性，但身體拟合的嚴重失敗會導緻重建失敗。因為它是在正交視圖上訓練的，是以 ICON 難以産生強烈的透視效果，産生不對稱的四肢或解剖學上不可能的形狀。
未來的一個關鍵應用是單獨使用圖像來建立穿着化身的資料集。這樣的資料集可以促進人體形狀模組化的研究，對時尚行業有價值，并促進圖形應用。
私信我領取目标檢測與R-CNN/資料分析的應用/電商資料分析/資料分析在醫療領域的應用/NLP學員項目展示/中文NLP的介紹與實際應用/NLP系列直播課/NLP前沿模型訓練營等幹貨學習資源。