作者：Jeongmin Bae | 編輯3DCV
添加微信：dddvision，備注：3DGS，拉你入群。文末附行業細分群
題目：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
作者：Jeongmin Bae等
代碼：https://jeongminb.github.io/e-d3dgs/
論文連結：https://arxiv.org/abs/2404.03613
1 引言
由于3DGS提供了快速、高品質的新穎視圖合成，是以将規範的 3DGS 變形為多個幀是一種自然的擴充。然而，以往的作品未能準确重建動态場景，特别是1）靜态部分沿着附近的動态部分移動，以及2）一些動态區域模糊不清。我們将失敗歸因于變形場的錯誤設計，變形場是作為基于坐标的函數建構的。這種方法是有問題的，因為 3DGS 是以高斯為中心的多個場的混合體，而不僅僅是一個基于坐标的架構。為了解決這個問題，我們将變形定義為每高斯嵌入和時間嵌入的函數。此外，我們将變形分解為粗變形和細變形，以分别模拟慢速和快速運動。此外，我們還引入了一種高效的教育訓練政策，以實作更快的收斂和更高的品質。
2 主要貢獻
- 為每個高斯配置設定一個潛在嵌入，用于預測其變形；
- 将時間變化分解為粗糙和精細變形，分别模組化場景中的緩慢和快速運動；
- 提出了有效的訓練政策，包括相機采樣、幀采樣和多視圖DSSIM損失，以提高收斂速度和性能。
3 方法
圖2：架構 現有的基于場的變形方法在從高斯坐标映射變形參數變化時，會遭受附近高斯之間的糾纏。為了解決這個問題，我們定義了基于每個高斯的變形。首先，我們為每個高斯配置設定一個潛在嵌入。此外，我們還引入了粗時間和細時間嵌入來表示動态場景的慢速和快速狀态。通過使用兩個解碼器，它們分别輸入每個高斯的潛在嵌入和粗時間嵌入，以及每個高斯的潛在嵌入和細時間嵌入，我們估計慢速或大變化以及快速或細節變化，分别模組化最終的變形。
如圖所示作者提出的方法，包括以下幾個關鍵點：
基于嵌入的變形(Embedding-Based Deformation): 作者為每個高斯函數配置設定一個32維的潛在嵌入，用于表示該高斯函數随時間的變形。同時，引入了一個256維的時間嵌入，表示不同幀的狀态。通過将每個高斯函數的嵌入和對應幀的時間嵌入作為輸入，預測每個高斯函數的參數變化，進而實作基于嵌入的變形。
粗細變形(Coarse-Fine Deformation): 作者将時間變化分解為粗變形和細變形。粗變形負責表示場景中的大運動或慢運動，而細變形則學習粗變形無法覆寫的快運動或細節運動。通過兩個不同時間分辨率的變形網絡來實作這一方案。
高效訓練政策(Efficient Training Strategy): 為了加速收斂，作者提出了一種高效的訓練政策，包括均勻覆寫多視角、基于誤差采樣難訓練幀，以及通過多視角DSSIM損失誘導高斯密化。
4 實驗
根據文檔内容，【4 Experiment】部分主要介紹了作者進行的實驗驗證和分析，包括以下幾個方面：
實驗驗證：作者在Neural 3D Video、Technicolor Light Field和HyperNeRF資料集上進行了驗證明驗，并選擇了相應基準進行比較。實驗結果顯示，該方法在動态區域重建品質、捕捉細節和計算效率等方面明顯優于基準方法。
分析：作者分析了粗細變形網絡的作用，并進行了可視化。結果表明，粗變形負責捕捉大運動，而細變形負責捕捉小運動。同時，作者進行了ablation study，結果表明去除粗變形或細變形網絡都會降低性能。
高效訓練政策：作者分析了高效訓練政策中相機采樣、基于誤差的幀采樣和多視角DSSIM損失的作用。實驗結果顯示，這些政策可以加快收斂，提高性能。
局限性：作者讨論了方法的局限性，如快運動區域的模糊問題，并提出了改進方向。
5 總結
這篇文章提出了一種基于高斯嵌入的變形方法，用于動态三維高斯濺射(3DGS)。實驗結果表明，該方法在動态區域重建、細節捕捉和挑戰性相機設定下表現出色，優于多個基線方法。
本文僅做學術分享，如有侵權，請聯系删文。
在這裡給大家推薦3D視覺工坊聯合Gigi主講老師推出的新課《基于NeRF/Gaussian三維重建的全新SLAM算法》
主講人介紹
課程大綱
課程亮點
- 本門課程從理論和代碼實作兩方面展開，帶你從零入門NeRF/Gaussian Based SLAM的原理學習、論文閱讀、代碼梳理等。
- 理論層面，從線性代數入手到傳統的計算機圖形學，讓大家明了現代三維重建的理論基礎和源頭；
- 代碼層面通過多個練習手把手教會大家複現計算機圖形學、NeRF相關工作。
學後收獲
- 入門基于NeRF/Gaussian的SLAM領域
- 學會如何在快速抓取一篇論文的關鍵點和創新點
- 如何快速跑通一篇論文的代碼并結合代碼掌握論文的思想
- 逐行NeRF代碼進行解析，掌握每個實作細節，并手動複現并作改進
課程設定
- 系統要求：Linux
- 程式設計語言：Python
- 基礎要求：有Python、PyTorch基礎
适合人群
- 對一篇新論文配套開源代碼無從下手的小白
- SLAM定位建圖、NeRF三維重建小白
- 從事三維重建工作的人員可參考
- NeRF論文的初始閱讀者
- 對SLAM、NeRF感興趣的學員
開課時間
2024年2月24日晚上8點（周六），每周更新一章節。
課程答疑
本課程答疑主要在本課程對應的鵝圈子中答疑，學員學習過程中，有任何問題，可以随時在鵝圈子中提問。
▲添加小助理：cv3d007，咨詢更多
備注：以上圖檔和視訊部分來自網絡，如果侵犯了您的權益，還請聯系删除！