超越基准 | 基于每个高斯变形的3D高斯溅射方法及其高效训练策略

作者：Jeongmin Bae | 编辑3DCV

添加微信：dddvision，备注：3DGS，拉你入群。文末附行业细分群

题目：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

作者：Jeongmin Bae等

代码：https://jeongminb.github.io/e-d3dgs/

论文链接：https://arxiv.org/abs/2404.03613

1 引言

由于3DGS提供了快速、高质量的新颖视图合成，因此将规范的 3DGS 变形为多个帧是一种自然的扩展。然而，以往的作品未能准确重建动态场景，特别是1）静态部分沿着附近的动态部分移动，以及2）一些动态区域模糊不清。我们将失败归因于变形场的错误设计，变形场是作为基于坐标的函数构建的。这种方法是有问题的，因为 3DGS 是以高斯为中心的多个场的混合体，而不仅仅是一个基于坐标的框架。为了解决这个问题，我们将变形定义为每高斯嵌入和时间嵌入的函数。此外，我们将变形分解为粗变形和细变形，以分别模拟慢速和快速运动。此外，我们还引入了一种高效的培训策略，以实现更快的收敛和更高的质量。

2 主要贡献

1. 为每个高斯分配一个潜在嵌入，用于预测其变形；
2. 将时间变化分解为粗糙和精细变形，分别建模场景中的缓慢和快速运动；
3. 提出了有效的训练策略，包括相机采样、帧采样和多视图DSSIM损失，以提高收敛速度和性能。

3 方法

图2：框架 现有的基于场的变形方法在从高斯坐标映射变形参数变化时，会遭受附近高斯之间的纠缠。为了解决这个问题，我们定义了基于每个高斯的变形。首先，我们为每个高斯分配一个潜在嵌入。此外，我们还引入了粗时间和细时间嵌入来表示动态场景的慢速和快速状态。通过使用两个解码器，它们分别输入每个高斯的潜在嵌入和粗时间嵌入，以及每个高斯的潜在嵌入和细时间嵌入，我们估计慢速或大变化以及快速或细节变化，分别建模最终的变形。

如图所示作者提出的方法，包括以下几个关键点：

基于嵌入的变形(Embedding-Based Deformation): 作者为每个高斯函数分配一个32维的潜在嵌入，用于表示该高斯函数随时间的变形。同时，引入了一个256维的时间嵌入，表示不同帧的状态。通过将每个高斯函数的嵌入和对应帧的时间嵌入作为输入，预测每个高斯函数的参数变化，从而实现基于嵌入的变形。

粗细变形(Coarse-Fine Deformation): 作者将时间变化分解为粗变形和细变形。粗变形负责表示场景中的大运动或慢运动，而细变形则学习粗变形无法覆盖的快运动或细节运动。通过两个不同时间分辨率的变形网络来实现这一方案。

高效训练策略(Efficient Training Strategy): 为了加速收敛，作者提出了一种高效的训练策略，包括均匀覆盖多视角、基于误差采样难训练帧，以及通过多视角DSSIM损失诱导高斯密化。

4 实验

根据文档内容，【4 Experiment】部分主要介绍了作者进行的实验验证和分析，包括以下几个方面：

实验验证：作者在Neural 3D Video、Technicolor Light Field和HyperNeRF数据集上进行了验证实验，并选择了相应基准进行比较。实验结果显示，该方法在动态区域重建质量、捕捉细节和计算效率等方面明显优于基准方法。

分析：作者分析了粗细变形网络的作用，并进行了可视化。结果表明，粗变形负责捕捉大运动，而细变形负责捕捉小运动。同时，作者进行了ablation study，结果表明去除粗变形或细变形网络都会降低性能。

高效训练策略：作者分析了高效训练策略中相机采样、基于误差的帧采样和多视角DSSIM损失的作用。实验结果显示，这些策略可以加快收敛，提高性能。

局限性：作者讨论了方法的局限性，如快运动区域的模糊问题，并提出了改进方向。

5 总结

这篇文章提出了一种基于高斯嵌入的变形方法，用于动态三维高斯溅射(3DGS)。实验结果表明，该方法在动态区域重建、细节捕捉和挑战性相机设置下表现出色，优于多个基线方法。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《基于NeRF/Gaussian三维重建的全新SLAM算法》

主讲人介绍

课程大纲

课程亮点

• 本门课程从理论和代码实现两方面展开，带你从零入门NeRF/Gaussian Based SLAM的原理学习、论文阅读、代码梳理等。
• 理论层面，从线性代数入手到传统的计算机图形学，让大家明了现代三维重建的理论基础和源头；
• 代码层面通过多个练习手把手教会大家复现计算机图形学、NeRF相关工作。

学后收获

• 入门基于NeRF/Gaussian的SLAM领域
• 学会如何在快速抓取一篇论文的关键点和创新点
• 如何快速跑通一篇论文的代码并结合代码掌握论文的思想
• 逐行NeRF代码进行解析，掌握每个实现细节，并手动复现并作改进

课程设置

• 系统要求：Linux
• 编程语言：Python
• 基础要求：有Python、PyTorch基础

适合人群

• 对一篇新论文配套开源代码无从下手的小白
• SLAM定位建图、NeRF三维重建小白
• 从事三维重建工作的人员可参考
• NeRF论文的初始阅读者
• 对SLAM、NeRF感兴趣的学员

开课时间

2024年2月24日晚上8点（周六），每周更新一章节。

课程答疑

本课程答疑主要在本课程对应的鹅圈子中答疑，学员学习过程中，有任何问题，可以随时在鹅圈子中提问。

▲添加小助理：cv3d007，咨询更多

备注：以上图片和视频部分来自网络，如果侵犯了您的权益，还请联系删除！