機器之心專欄
作者：錢深瀚
新方法 UNIF 借助簡潔有效的初始化和正則化手段，使分部件重建方法擺脫對部件劃分标簽的依賴；通過顯式地模組化部件之間的互相作用，顯著提升了分部件重建方法對人體姿态的泛化能力。
長期以來，三維重建一直以網格模型為主流表達，但受限于固定的拓撲結構和離散的形狀表達。神經隐式函數因其靈活的拓撲結構和連續的表達空間在形狀重建領域受到追捧。
在人體形體的重建和驅動領域，近期方法普遍将網格模型替換成神經隐式函數作為形狀表達，并沿用在網格模型中普遍運用的線性蒙皮算法（LBS）進行人體驅動。但這一做法忽視了将 LBS 應用在神經隐式函數上的種種問題，比如，需要另外學習一個蒙皮權重函數來定義連續空間中任意一點的蒙皮權重。而在逆向蒙皮過程中，蒙皮權重函數需要随着人體姿勢的變化而改變，表現出十分有限的動作泛化能力。
相比于上述整體模組化的方式，分部件重建的方法尚缺乏探索。這類方法為人體的每個部分學習一個獨立的全連接配接網絡（MLP），将每個網絡表達的形狀綁定在各個骨骼上，能夠更好地保持形體的局部剛性。但是，分部件重建的方法往往需要部件劃分的标注資料，在應用場景上受限；同時，部件之間的融合很困難，不可避免地出現部件的重疊或斷裂，在動作泛化能力上始終劣于整體重建的方法。
為此，上海科技大學和 ZMO.AI 的研究者提出了一套分部件人體重建和驅動的方法 UNIF，借助簡潔有效的初始化和正則化手段，使分部件重建方法擺脫對部件劃分标簽的依賴。通過顯式地模組化部件之間的互相作用，顯著提升了分部件重建方法對人體姿态的泛化能力。ZMO.AI 是國内頭部内容生成初創公司，專注于 AI 文字生成内容 Yuan初 創作平台的搭建。該論文已被 ECCV 2022 接收，并公開了代碼。
- 論文連結：https://arxiv.org/abs/2207.09835
- 代碼連結：https://github.com/ShenhanQian/UNIF
- 項目首頁：https://shenhanqian.com/unif
- Yuan初 創作平台：https://yuan.zmoai.cn/
背景知識
給定人體點雲資料和對應的人體骨架，該方法用獨立的神經網絡學習人體的各個部件的有符号距離函數（SDF），并通過求并操作（Union）組合起來實作完整人體的重建。
在推理階段，通過操縱骨架，即可進行對人體的驅動。
核心方法
Partition-from-Motion
文章提出 Partition-from-Motion，即一套網絡初始化和正則化的政策，使無監督的部件劃分成為可能。
以骨骼為中心的初始化：該方法将各個部件初始化為位于骨骼中點的半徑極小（r=0.01）的球體。這樣，部件之間就不存在重疊，同時每個部件的 SDF 近似等于任意點到骨骼中心的距離。由于 SDF 是由求最小值操作組合起來的，上述特性就能確定在模型訓練之初能夠将每個點配置設定給離他最近的骨骼。
骨骼邊界損失和截面法向損失：當兩個部件在訓練動作中幾乎沒有相對運動時，它們之間存在重疊的情況就無法避免。當我用新動作驅動模型時，就很容易出現暴露出原本重疊的部件，造成視覺瑕疵。作為正則項，我們提出一項骨骼邊界損失旨在促使每個部件的表面穿過與它相連的關節，以及一項截面法向損失用于保證相接的部件的截面法向一緻。這兩項損失均是為了避免部件之間出現重疊或空缺。
鄰接部件縫合（APS）
通過上述方法，該方法已經能夠在訓練動作下保證部件的正确劃分和緊密相接。但在推廣至新動作時，仍存在下圖所示的斷裂和重疊的問題。
是以文章提出 Adjacent Part Seaming，即通過顯式地模組化相鄰部件之間的互相作用來維持部件之間的穩定連接配接，顯著提升了分部件重建方法對新動作的泛化能力。
基于局部旋轉的鄰接部件縫合
鄰接部件縫合的核心是通過對相鄰部件的運動進行權重對部件末端施加形變，保證部件接面的對齊。具體而言，是通過疊加偏移量使局部空間扭曲，實作非剛性形變。
通過混合多個偏移量，該方法同樣适用于三個或更多部件相連的情況。
由 “部件競争” 定義的混合權重
上述方法描述了鄰接部件縫合的基本原理，但并未涉及混合權重 ω 的定義。為了增強方法的靈活性，文章進一步提出了一種參數化的混合權重定義方法，即“部件競争”。
首先将空間中一點 x 随着骨骼運動的趨勢定義為骨骼在該點的剛度 r，則上圖中點 x 相對于骨骼
和骨骼
的剛度分别定義為：
其中，Q 點将連接配接線 AB 按照 AO 和 BO 比例将劃分為兩部分。基于上式的定義，點 x 離骨骼越近，則剛度越大。α 和 β 是可優化的參數，用于模組化各部件的剛度特性。
那麼點 x 關于骨骼
和
的混合權重分别為：
上式中
和
的和為 1，保證了部件之間的穩定連接配接。
最終，該方法的流程如下圖所示：
實驗驗證
作者在 CAPE 和 ClothSeq 資料集上進行了實驗。
在動作内插實驗中，該方法展示出與基線方法相當的表達能力和對動作估計誤差的更強的魯棒性。
在動作外插實驗中，該方法能夠更好地保持形體的局部剛性，表現出更強的動作泛化能力和穩定性。
數值結果與上述觀察一緻。
通過消融，作者進一步驗證了方法各部分的必要性。
在下圖這組對比中，鄰接部件縫合算法顯著改善了分部件重建方法在新動作下出現重疊和斷裂的問題。