编辑：计算机视觉工坊
添加小助理：dddvision，备注：3D目标检测，拉你入群。文末附行业细分群
标题：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
作者：Jeongmin Bae等人
主页：https://jeongminb.github.io/e-d3dgs/
1、导读
本文介绍了一种基于高斯嵌入的高效3D动态场景重构方法。该方法通过为每个高斯分配一个潜在嵌入向量，并结合时间嵌入，实现了高斯参数的高质量预测，同时分解了变形为粗变形和细变形以建模不同速度的运动。此外，还提出了一种高效的训练策略，提高了收敛速度和质量。
2、方法
图2展示了作者提出的框架。现有基于场的方法在变形参数映射中存在Gaussian坐标的纠缠问题。为了解决这个问题，提出了以下方法：
2.1、基于嵌入的Gaussian变形
作者为每个Gaussian分配了一个32维的嵌入向量zg，并为每个帧分配了一个256维的时间嵌入向量zt。变形函数Fθ以这两个嵌入向量为输入，输出每个Gaussian在当前帧的变形参数。与基于坐标的变形场不同，这种方法可以独立建模每个Gaussian的变形，避免了相邻Gaussian之间的互相影响。
2.2、粗细变形
作者将时间变化分解为粗变形和细变形，分别建模场景中的慢速运动和快速运动。粗变形使用下采样时间嵌入，而细变形使用原始分辨率的时间嵌入。这种分解可以更精细地建模场景中的运动变化。
2.3、高效训练策略：
作者提出了高效的训练策略，包括基于相机视角距离的均匀采样、基于渲染误差的帧采样以及使用多视图DSSIM损失周期性促进Gaussian密集化。这些策略可以加速收敛并获得更高质量的重建结果。
总的来说，作者提出了一种基于嵌入的Gaussian变形方法，通过为每个Gaussian分配嵌入向量和时间嵌入，可以独立建模每个Gaussian的变形。同时，将时间变化分解为粗细变形，并通过高效训练策略获得更高质量的动态场景重建结果。
3、实验
选择基准方法：作者选择了一些基准方法，包括基于NeRF的方法（如DyNeRF、NeRFPlayer等）、基于高斯的方法（如4DGaussians、4DGS、D3DGS等），以及一些基于体素的方法（如MixVoxels、K-Planes等）。
评价指标：作者使用了PSNR、SSIM、LPIPS等指标来评估渲染图像的质量。其中，PSNR用于量化像素颜色误差，SSIM用于衡量渲染图像与真实图像的感知相似性，而LPIPS则用于衡量更高层次的感知相似性。
实验数据集：作者在Neural 3D Video、Technicolor Light Field和HyperNeRF三个数据集上进行了实验，这些数据集包含复杂的动态场景。
定量和定性比较：作者通过定性和定量比较，证明了所提出方法在捕捉动态区域细节、重建质量、计算效率等方面的优势。
分析实验：作者进行了分析实验，验证了粗细变形和高效训练策略的有效性。
4、总结
我们提出了一种以每高斯嵌入作为输入的3DGS的每高斯变形，而不是使用可变形3DGS方法的典型变形场，实现了高性能。我们通过将动态变化分解为粗变形和细变形来提高质量。然而，我们的方法也有局限性。当帧与帧之间有明显的运动时，渲染结果的动态区域往往会变得模糊，就像在其他基线中一样(图10)。预计将通过在快速变化的动态区域进行通信等额外监督来解决。此外，与现有的高斯喷溅方法相比，我们的方法在渲染时往往更慢。如前所述，这可以通过跳过静态区域的变形预测并在训练后修剪不必要的点来改进。
本文仅做学术分享，如有侵权，请联系删文。
在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《基于NeRF/Gaussian三维重建的全新SLAM算法》
主讲人介绍
课程大纲
课程亮点
- 本门课程从理论和代码实现两方面展开，带你从零入门NeRF/Gaussian Based SLAM的原理学习、论文阅读、代码梳理等。
- 理论层面，从线性代数入手到传统的计算机图形学，让大家明了现代三维重建的理论基础和源头；
- 代码层面通过多个练习手把手教会大家复现计算机图形学、NeRF相关工作。
学后收获
- 入门基于NeRF/Gaussian的SLAM领域
- 学会如何在快速抓取一篇论文的关键点和创新点
- 如何快速跑通一篇论文的代码并结合代码掌握论文的思想
- 逐行NeRF代码进行解析，掌握每个实现细节，并手动复现并作改进
课程设置
- 系统要求：Linux
- 编程语言：Python
- 基础要求：有Python、PyTorch基础
适合人群
- 对一篇新论文配套开源代码无从下手的小白
- SLAM定位建图、NeRF三维重建小白
- 从事三维重建工作的人员可参考
- NeRF论文的初始阅读者
- 对SLAM、NeRF感兴趣的学员
开课时间
2024年2月24日晚上8点（周六），每周更新一章节。
课程答疑
本课程答疑主要在本课程对应的鹅圈子中答疑，学员学习过程中，有任何问题，可以随时在鹅圈子中提问。
▲添加小助理：cv3d007，咨询更多
备注：以上图片和视频部分来自网络，如果侵犯了您的权益，还请联系删除！