編輯：計算機視覺工坊
添加小助理：dddvision，備注：3D目标檢測，拉你入群。文末附行業細分群
标題：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
作者：Jeongmin Bae等人
首頁：https://jeongminb.github.io/e-d3dgs/
1、導讀
本文介紹了一種基于高斯嵌入的高效3D動态場景重構方法。該方法通過為每個高斯配置設定一個潛在嵌入向量，并結合時間嵌入，實作了高斯參數的高品質預測，同時分解了變形為粗變形和細變形以模組化不同速度的運動。此外，還提出了一種高效的訓練政策，提高了收斂速度和品質。
2、方法
圖2展示了作者提出的架構。現有基于場的方法在變形參數映射中存在Gaussian坐标的糾纏問題。為了解決這個問題，提出了以下方法：
2.1、基于嵌入的Gaussian變形
作者為每個Gaussian配置設定了一個32維的嵌入向量zg，并為每個幀配置設定了一個256維的時間嵌入向量zt。變形函數Fθ以這兩個嵌入向量為輸入，輸出每個Gaussian在目前幀的變形參數。與基于坐标的變形場不同，這種方法可以獨立模組化每個Gaussian的變形，避免了相鄰Gaussian之間的互相影響。
2.2、粗細變形
作者将時間變化分解為粗變形和細變形，分别模組化場景中的慢速運動和快速運動。粗變形使用下采樣時間嵌入，而細變形使用原始分辨率的時間嵌入。這種分解可以更精細地模組化場景中的運動變化。
2.3、高效訓練政策：
作者提出了高效的訓練政策，包括基于相機視角距離的均勻采樣、基于渲染誤差的幀采樣以及使用多視圖DSSIM損失周期性促進Gaussian密集化。這些政策可以加速收斂并獲得更高品質的重建結果。
總的來說，作者提出了一種基于嵌入的Gaussian變形方法，通過為每個Gaussian配置設定嵌入向量和時間嵌入，可以獨立模組化每個Gaussian的變形。同時，将時間變化分解為粗細變形，并通過高效訓練政策獲得更高品質的動态場景重建結果。
3、實驗
選擇基準方法：作者選擇了一些基準方法，包括基于NeRF的方法（如DyNeRF、NeRFPlayer等）、基于高斯的方法（如4DGaussians、4DGS、D3DGS等），以及一些基于體素的方法（如MixVoxels、K-Planes等）。
評價名額：作者使用了PSNR、SSIM、LPIPS等名額來評估渲染圖像的品質。其中，PSNR用于量化像素顔色誤差，SSIM用于衡量渲染圖像與真實圖像的感覺相似性，而LPIPS則用于衡量更高層次的感覺相似性。
實驗資料集：作者在Neural 3D Video、Technicolor Light Field和HyperNeRF三個資料集上進行了實驗，這些資料集包含複雜的動态場景。
定量和定性比較：作者通過定性和定量比較，證明了所提出方法在捕捉動态區域細節、重建品質、計算效率等方面的優勢。
分析實驗：作者進行了分析實驗，驗證了粗細變形和高效訓練政策的有效性。
4、總結
我們提出了一種以每高斯嵌入作為輸入的3DGS的每高斯變形，而不是使用可變形3DGS方法的典型變形場，實作了高性能。我們通過将動态變化分解為粗變形和細變形來提高品質。然而，我們的方法也有局限性。當幀與幀之間有明顯的運動時，渲染結果的動态區域往往會變得模糊，就像在其他基線中一樣(圖10)。預計将通過在快速變化的動态區域進行通信等額外監督來解決。此外，與現有的高斯噴濺方法相比，我們的方法在渲染時往往更慢。如前所述，這可以通過跳過靜态區域的變形預測并在訓練後修剪不必要的點來改進。
本文僅做學術分享，如有侵權，請聯系删文。
在這裡給大家推薦3D視覺工坊聯合Gigi主講老師推出的新課《基于NeRF/Gaussian三維重建的全新SLAM算法》
主講人介紹
課程大綱
課程亮點
- 本門課程從理論和代碼實作兩方面展開，帶你從零入門NeRF/Gaussian Based SLAM的原理學習、論文閱讀、代碼梳理等。
- 理論層面，從線性代數入手到傳統的計算機圖形學，讓大家明了現代三維重建的理論基礎和源頭；
- 代碼層面通過多個練習手把手教會大家複現計算機圖形學、NeRF相關工作。
學後收獲
- 入門基于NeRF/Gaussian的SLAM領域
- 學會如何在快速抓取一篇論文的關鍵點和創新點
- 如何快速跑通一篇論文的代碼并結合代碼掌握論文的思想
- 逐行NeRF代碼進行解析，掌握每個實作細節，并手動複現并作改進
課程設定
- 系統要求：Linux
- 程式設計語言：Python
- 基礎要求：有Python、PyTorch基礎
适合人群
- 對一篇新論文配套開源代碼無從下手的小白
- SLAM定位建圖、NeRF三維重建小白
- 從事三維重建工作的人員可參考
- NeRF論文的初始閱讀者
- 對SLAM、NeRF感興趣的學員
開課時間
2024年2月24日晚上8點（周六），每周更新一章節。
課程答疑
本課程答疑主要在本課程對應的鵝圈子中答疑，學員學習過程中，有任何問題，可以随時在鵝圈子中提問。
▲添加小助理：cv3d007，咨詢更多
備注：以上圖檔和視訊部分來自網絡，如果侵犯了您的權益，還請聯系删除！