編輯：計算機視覺工坊
添加小助理：dddvision，備注：3D高斯，拉你入群。文末附行業細分群
标題：GoMAvatar: Efficient Animatable Human Modeling from Monocular Video Using Gaussians-on-Mesh
作者：Jing Wen等
首頁：https://wenj.github.io/GoMAvatar/
論文：https://arxiv.org/pdf/2404.07991.pdf
1、導讀
這篇文章介紹了一種名為GoMAvatar的新方法，該方法利用單目視訊快速高效地重建高品質可動的人體模型。該方法的核心是Gaussians-on-Mesh(GoM)表示，它結合了高斯體渲染的高品質和速度，以及可變形網格的幾何模組化和相容性。具體而言，GoM使用高斯體渲染，提供了豐富的外觀模組化靈活性，并實作了實時性能。同時，GoM利用骨骼驅動的可變形網格，建立了緊湊、拓撲完整的數字化身，并通過正向運動學簡化了網格可動性。關鍵的是，為了将兩種表示形式內建在一起，我們将高斯體附着到每個網格面上，進而更好地規範了高斯體在新的姿勢下的變形。此外，為了處理視圖依賴性，我們将最終的顔色分解為高斯體渲染的僞反照率圖和從法線貼圖派生的僞陰影圖。這種表示形式可以僅從單個輸入視訊推斷出來。實驗結果表明，GoMAvatar在渲染品質方面與目前最先進的單目人體模組化算法相比對或優于，同時顯著優于它們在計算效率方面(43FPS)，并且記憶體效率高(每個主題3.63MB)。
2. 方法（GoM）
GoMAvatar方法的核心思想:即結合高斯分布和可變形網格的表示。具體包括以下内容：
- 高斯分布表示：GoM使用高斯分布進行渲染，使得渲染速度較快。每個面關聯一個高斯分布，其中均值和協方差矩陣與面的頂點坐标相關。
- 可變形網格表示：GoM利用可變形網格進行變形，提供了明确的幾何資訊，并适應不同人體姿态。每個頂點關聯一個線性混合蒙皮權重，用于網格變形。
- 前向運動學變形：GoM通過前向運動學進行網格變形，避免了反向映射的不确定性。這有助于實作更準确的變形。
- 渲染和變形相容：GoM的渲染和變形完全相容，能夠高效生成高品質渲染圖像。
- 高效渲染：GoM通過高斯分布渲染和網格渲染，實作了高效的渲染。
- 明确幾何資訊：GoM通過網格提供明确的幾何資訊，避免了高斯分布的過拟合問題。
- 平衡速度和品質：GoM實作了渲染速度和品質的平衡，能夠快速生成高品質渲染圖像。
3、實驗
，作者對GoMAvatar方法進行了廣泛的實驗評估，并與其他單視角視訊生成人體數字化的方法進行了比較。具體内容包括：
- 資料集：作者在ZJU-MoCap資料集、PeopleSnapshot資料集以及YouTube視訊上進行了實驗驗證。
- 基準方法：作者選擇了NeuralBody、HumanNeRF、NeuMan、MonoHuman、Anim-NeRF和InstantAvatar等最新的人體數字化方法進行比較。
- 評價名額：主要評估名額包括PSNR、SSIM、LPIPS、CD、NC以及推理速度和記憶體占用。
- 實驗結果：作者在ZJU-MoCap資料集上進行了定量評估，結果顯示GoMAvatar方法在渲染品質、推理速度和記憶體占用方面均取得了較好的平衡。
- 定性比較：作者進行了與NeuralBody、HumanNeRF和MonoHuman的定性比較，展示了GoMAvatar在細節表現、表面幾何和自交等方面的優勢。
- 失敗案例分析：作者展示了GoMAvatar在未觀察區域和拓撲變化方面的局限性，同時也展示了其在拟合不同拓撲的服裝方面的靈活性。
- 敏感性分析：作者分析了GoMAvatar對姿态估計精度的敏感性，并表明該方法對姿态估計誤差具有魯棒性。
充分驗證了GoMAvatar方法在人體數字化任務中的高效性和高品質表現，為進一步推動該領域的發展提供了重要參考。
4、總結
本文提出了GoMAvatar，這是一種高效、高品質的人體數字化方法。其核心思想是結合高斯分布渲染和可變形網格變形，進而實作了渲染速度和品質的雙重提升。具體來說，GoMAvatar使用高斯分布進行渲染，避免了體積渲染中的密集采樣，同時将高斯分布附着在可變形網格上，進而适應了不同人體姿态。另外，它利用網格的前向運動學變形，避免了反向映射的不确定性。實驗結果表明，GoMAvatar在渲染品質和推理速度方面取得了良好的平衡，優于其他最新方法。最後，作者還進行了定性和定量分析，并展示了GoMAvatar在細節表現和自交等方面的優勢，以及其在未觀察區域和拓撲變化方面的局限性。總的來說，GoMAvatar為人體數字化任務提供了一個高效、高品質的新選擇。
本文僅做學術分享，如有侵權，請聯系删文。
在這裡給大家推薦3D視覺工坊聯合Gigi主講老師推出的新課《基于NeRF/Gaussian三維重建的全新SLAM算法》
主講人介紹
課程大綱
課程亮點
- 本門課程從理論和代碼實作兩方面展開，帶你從零入門NeRF/Gaussian Based SLAM的原理學習、論文閱讀、代碼梳理等。
- 理論層面，從線性代數入手到傳統的計算機圖形學，讓大家明了現代三維重建的理論基礎和源頭；
- 代碼層面通過多個練習手把手教會大家複現計算機圖形學、NeRF相關工作。
學後收獲
- 入門基于NeRF/Gaussian的SLAM領域
- 學會如何在快速抓取一篇論文的關鍵點和創新點
- 如何快速跑通一篇論文的代碼并結合代碼掌握論文的思想
- 逐行NeRF代碼進行解析，掌握每個實作細節，并手動複現并作改進
課程設定
- 系統要求：Linux
- 程式設計語言：Python
- 基礎要求：有Python、PyTorch基礎
适合人群
- 對一篇新論文配套開源代碼無從下手的小白
- SLAM定位建圖、NeRF三維重建小白
- 從事三維重建工作的人員可參考
- NeRF論文的初始閱讀者
- 對SLAM、NeRF感興趣的學員
開課時間
2024年2月24日晚上8點（周六），每周更新一章節。
課程答疑
本課程答疑主要在本課程對應的鵝圈子中答疑，學員學習過程中，有任何問題，可以随時在鵝圈子中提問。
▲添加小助理：cv3d007，咨詢更多
備注：以上圖檔和視訊部分來自網絡，如果侵犯了您的權益，還請聯系删除！