機器之心報道
編輯：大盤雞、小舟
即使遮擋，也能渲染出高保真的 3D 人體。
AR/VR 、電影和醫療等領域都在廣泛地應用視訊渲染人類形象。由于單目攝像頭的視訊擷取較為容易，是以從單目攝像頭中渲染人體一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMan 等方法都取得了令人矚目的成績。盡管隻有一個攝像頭視角，這些方法仍能從新的視角準确地渲染人體。
不過，大多數現有的方法在渲染人體時都是針對較為理想的實驗場景進行設計的。在這些場景中，障礙物幾乎不存在，人的各個身體部分在每一幀中也都能全部展示出來。可這與現實場景大為不同。現實場景中常有多個障礙物，人體也會在移動過程中被障礙物遮擋。
大多數的神經渲染方法在處理現實世界的場景時都會因為遮擋而困難重重，其中一大原因就是缺乏監督。實際場景往往無法提供有關人體外觀、形狀和姿态的真實監督資料，是以模型需要根據現有的少量證據來推斷其他資訊，而這十分具有挑戰性，尤其是大部分人體被遮擋的情況。
由于許多神經方法采用的基于點的渲染方案，當一個被遮擋和一個未被遮擋時，兩個非常接近的坐标會在渲染輸出上産生巨大差異。是以，那些未适應被遮擋場景的方法在遇到遮擋時經常會顯示出不完整的人體，或者渲染出漂浮物和其他視覺上的錯誤。
最近，著名人工智能教授李飛飛在 X 上釋出了有關 3D 人體渲染工作的新進展 —— 一種名為 Wild2Avatar 的新模型，該模型即使在有遮擋的情況下仍然能夠完整、高保真地渲染人體。
Wild2Avatar 是一種适用于有遮擋的野外單目視訊的神經渲染方法。研究團隊提出了遮擋感覺場景參數化，将場景解耦為三個部分 —— 遮擋、人體和背景，分别渲染這三個部分，并設計了新穎的優化目标。
- 論文位址：https://arxiv.org/pdf/2401.00431.pdf
- 項目位址：https://cs.stanford.edu/~xtiange/projects/wild2avatar/
方法介紹
Wild2Avatar 可以為帶有遮擋的野外單目視訊渲染具有完整幾何形狀和高保真外觀的 3D 人體。Wild2Avatar 模型的整體架構如下圖 2 所示：
具體來說，Wild2Avatar 将遮擋物、人體和背景模組化為三個獨立的神經場，無論遮擋物如何，都能對人體進行清晰的三維重建。為此，該研究采用場景自分解技術，在倒球參數化（inverted sphere parametrization）的基礎上，提出了遮擋感覺場景參數化。
除了倒球參數化定義的第一個球外，該研究還引入了第二個内球，并将從錄影機到内球邊緣的區域定義為遮擋區域。通過單獨渲染這一區域，Wild2Avatar 成功将遮擋與場景的其他部分分離開來。
此外，為了確定高保真和完整地渲染人體，該研究提出通過像素光度損失、場景分解損失、遮擋解耦損失和幾何完整性損失的組合來彙總三種渲染。
實驗及結果
資料集
OcMotion：該資料集由人體與各種物體接觸的室内場景組成，同時被這些物體部分遮擋。研究者從該資料集的 48 個視訊中選用了 5 個，它們展示了不同程度的遮擋。他們從每個視訊中隻抽取了 100 幀來訓練模型，并使用資料集提供的相機矩陣、人體姿态和 SMPL 參數來初始化優化過程。幀内的二進制人體分割掩碼是通過「分割一切 (SAM)」獲得的。
野外視訊：研究者對兩段真實世界的視訊進行了額外的實驗，其中一段是從 YouTube 下載下傳的，另一段是研究團隊使用手機攝像頭拍攝的。他們從這兩段視訊中抽取了 150 幀進行訓練，并使用 SLAHMR 擷取了錄影機矩陣、人體姿勢和 SMPL 參數。由于沒有提供真實姿态，是以對這些視訊的評估也表明了各種方法對不準确估計的穩健性。
被遮擋單目攝像頭視訊上的結果
圖 5 比較了 Vid2Avatar 和 Wild2Avatar 在兩個資料集上的渲染結果。
在表 1 中，研究者報告了兩種方法的量化結果，并觀察到二者在可見部分的渲染性能不相上下。不過，需要注意的是，Wild2Avatar 在身體幾何形狀和遮擋部分的渲染品質上始終優于 Vid2Avatar。
與 OccNeRF 的比較
研究者将 Wild2Avatar 與最近推出的遮擋人體渲染軟體 OccNeRF 進行比較。比較結果如圖 6 所示。
為了進行公平比較，他們分别在 500 幀和 100 幀圖像上對 OccNeRF 進行了訓練。由于沒有隐式 SDF 表征，OccNeRF 存在浮遊物和僞影等常見缺陷。雖然 OccNeRF 也能恢複被遮擋的人體部位，但人體通常會意外扭曲，導緻渲染品質較低。
場景分解的可視化
Wild2Avatar 以組合的方式渲染了三個場景部分。人和背景 / 遮擋物分别在兩個不同的神經場中模組化。圖 7 展示了這三個場景部分的單獨渲染圖。需要注意的是，由于這項工作隻專注于人體渲染，是以背景和遮擋物的無僞影渲染不在這項工作的讨論範圍内。
消融實驗
盡管 Wild2Avatar 仍能恢複被遮擋的外觀，但在沒有提出的參數化的情況下，渲染結果中會出現許多僞影，見圖 8 第一行。
如果不采用建議的損失函數，則無法完全恢複被遮擋的區域，見圖 8 第二行。
提出的損失函數作為一個正則化器，強制人體幾何形态與 SMPL 網格先驗保持一緻，這防止了錯誤姿态的渲染，見圖 8 第三行。
更多詳細内容，請閱讀原論文。