來源：計算機視覺工坊
添加v：dddvision，備注：3D GS，拉你入群。文末附行業細分群
0. 寫在前面
這是港科大沈邵劼團隊的最新力作，提出了一種精确的LIV多模态傳感器融合的三維輻射場建圖系統LIV-GaussMap，利用雷射雷達-慣性系統擷取初始高斯場景結構，并通過相機擷取的光度梯度進行優化，實作了高保真度的建圖效果。LIV-GaussMap适應各種雷射雷達，能夠建構精确的地圖結構，合成高品質的新視角圖像，而且還開源！
下面一起來閱讀一下這項工作~
1. 論文資訊
标題：LIV-GaussMap: LiDAR-Inertial-Visual Fusion for Real-time 3D Radiance Field Map Rendering
作者：Sheng Hong, Junjie He, Xinhu Zheng, Hesheng Wang, Hao Fang, Kangcheng Liu, Chunran Zheng, Shaojie Shen
機構：香港科技大學、香港科技大學（廣東）、香港大學、上海交通大學、北京理工大學
原文連結：https://arxiv.org/abs/2401.14857
代碼連結：https://github.com/sheng00125/LIV-GaussMap
2. 摘要
我們推出了一款內建式精密雷射雷達、慣性和視覺（LIV）多模态傳感器融合建圖系統，該系統基于可微分曲面拼接技術來提高建圖保真度、品質和結構精度。值得注意的是，這也是一種用于雷射雷達-視覺-慣性傳感器融合的緊耦合地圖的新穎形式。
該系統利用雷射雷達和視覺資料的互補特性來捕捉大規模3D場景的幾何結構，并以高保真度恢複其視覺表面資訊。使用具有尺寸自适應體素的雷射雷達慣性系統獲得表面高斯場景的初始姿态。然後，我們通過視覺衍生的光度梯度優化和細化高斯分布，以優化雷射雷達測量的品質和密度。
我們的方法與各種類型的雷射雷達相容，包括固态和機械雷射雷達，支援重複和非重複掃描模式。通過雷射雷達支援結構建構，并促進跨不同LIV資料集實時生成真實感渲染。它在生成可能用于數字孿生和虛拟現實的實時真實感場景方面表現出顯著的彈性和多功能性，同時在實時SLAM和機器人領域也具有潛在的适用性。
我們在Github上公開了我們的軟體、硬體以及自收集的資料集，以造福社群。
3. 效果展示
真實世界的實驗在公共資料集和私有資料集上進行，包括小規模室内環境和大規模室外環境。涵蓋HKU LSK（a）、HKU主樓（b）、HKUST GZ大廈C2室外（c）和室内（e）、HKUST GZ創客空間（d）、香港科技大學廣州紅鳥（f）的輻射場地圖。
HKUST GZ大廈C1室内和室外的三維場景。與3D-GS的視覺建構結構相比，LIV-GaussMap産生了一個更精細的結構，并且沒有僞影。
地圖的建構過程：(1) 首先，使用基于卡爾曼濾波的雷射雷達慣性系統建構場景的高斯分布，使用雷射雷達測量來估計場景内3D對象的表面。高斯分布沿着表面擴充，産生初始的彩色點雲，這進一步發展成橢球面高斯分布。(2) 然後，利用光度梯度增強高斯分布，進而得到優化的點雲和優化的表面高斯分布。這種優化的地圖使得系統能夠通過精确的光度合成新的視圖，并生成沒有任何間隙的地圖。
4. 主要貢獻
（1）提出通過利用來自雷射雷達-慣性系統的高斯分布測量來為場景中的平面表面建構密集且精确的地圖結構。這種測量使系統能夠準确地表示表面的特征并建立詳細的地圖。
（2）建議使用具有球諧系數的可微分橢球高斯圖建構雷射雷達視覺地圖，這意味着來自不同觀察方向的視覺測量資訊。這種方法可以實作具有照片級真實感性能的實時渲染，進而增強地圖的準确性和真實感。
（3）建議通過引入可微分橢球面高斯分布圖來進一步優化地圖結構，以緩解掃描期間臨界入射角導緻的點雲分布不合理的問題，解決點雲分布不均勻或測量不準确的難題。
（4）所有相關的軟體和硬體包以及自行收集的資料集将公開提供，以造福社群。
5. 具體原理
傳感器輸入和裝置設定：外部傳感器元件包括一個與攝像頭配對的同步雷射雷達-慣性傳感器（Livox Avia）。右側是算法流程：（1）場景的初始表示源自具有尺寸自适應體素的基于IESKF的雷射雷達慣性系統，為場景提供初始高斯結構（2）随後，通過光度梯度優化高斯結構和球諧系數。這包括使用圖像計算光栅化損失，以進一步細化場景表示。
5.1 使用雷射雷達測量初始化高斯分布
該部分的核心思想是利用雷射雷達慣性系統的測量值來初始化高斯結構，建構初始的3D場景表示。主要技術路線包括：
1. 使用自适應體素将雷射雷達點雲分割，根據點雲密度調整體素大小。
2. 計算每個體素的協方差矩陣，并提取特征向量作為表面法向量。
3. 根據協方差矩陣參數計算高斯分布參數，進而建構初始高斯結構。
5.2 使用光度梯度優化高斯結構和球諧系數
該部分通過使用多個視角的圖像計算光度梯度，優化高斯分布和球諧系數，以提高渲染品質。主要技術路線包括：
1. 使用多個視角的圖像計算點雲的球諧系數，表示視覺資訊。
2. 通過最小化圖像與合成圖像的感覺損失，優化高斯分布和球諧系數。
3. 利用優化後的高斯結構生成渲染圖像。
5.3 3D高斯分布圖的自适應控制
該部分對高斯結構進行自适應控制，以解決由于掃描角度問題導緻的不合理點雲分布。主要技術路線包括：
1. 評估高斯分布的合理性，檢測欠重建和過密集區域。
2. 對于欠重建區域，複制鄰近高斯并優化；對于過密集區域，評估點貢獻并移除備援點。
3. 通過自适應控制獲得更合理的高斯分布圖。
5.4 使用高斯分布進行新視角圖像合成
通過光栅化雷射雷達生成的高斯雲，使用alpha混合來合成新視角圖像。
6. 實驗細節
實驗使用了兩個公開資料集和兩個自建資料集，涵蓋了各種雷射雷達模式。FusionPortable資料集具有重複掃描雷射雷達，FASTLIVO資料集具有非重複雷射雷達資料。實驗裝置是Intel Core i9 12900K 3.50GHz處理器和一張NVIDIA GeForce RTX 4090。
6.1 針對先前工作的新視圖合成評估
圖6是在真實世界資料集上評估LIV-GaussMap在渲染品質方面與其他最先進架構的性能，具體包括Plenoxel、F2-NeRF、3D GS。表II和圖5中的箱線圖所示，LIV-GaussMap在外推方面取得了顯著的5dB PSNR提升，表明具有卓越的渲染品質。在峰值信噪比（PSNR）方面表現出與3D GS等其他最先進算法相當的水準。
6.2 LiDAR渲染性能的消融研究
作者發現3D高斯點雲渲染具有顯著的競争力。是以，随後的實驗主要圍繞比較3D高斯點雲渲染技術與LiDAR輔助高斯結構建構方法展開。
如表III所示，為驗證算法的有效性，逐漸內建了優化的方法，并監測了PSNR的相應變化。設計了幾個比較實驗，作為消融分析的以下情況。
Case I：将3D高斯點雲渲染作為基線實施。Case II：LiDAR初始化的高斯點雲，展示無視覺優化的地圖重建。Case III：在Case II的基礎上增強，使用光度梯度優化點雲分布，提高地圖的準确性和穩健性。Case IV：進一步使用光度梯度進行高斯位姿優化，增強地圖品質。
通過比較Case I和II，LiDAR性能随場景複雜性而變化。在像"HKU_MB"這樣複雜的結構中，LiDAR的準确性降低，可能降低PSNR。在像"UST_C2_outdoor"這樣簡單的場景中，LiDAR實作了精确的估計，提高了PSNR，特别是在外推任務中。在Case III中，優化點雲分布加速了過程，但可能降低PSNR。
最終，LIV-GaussMap（Case IV）通過優化地圖結構提高了PSNR，在插值和外推中始終優于3D高斯點雲渲染。還使用固态LiDAR（RealSense L515）對LIV-GaussMap進行了評估。由于其受限的測量範圍，僅在室内場景中進行了實驗。結果表明，LIV-GaussMap始終保持卓越的PSNR水準。
6.3 結構重建評估
定性和定量結果突顯了使用雷射雷達進行初始結構優化的有效性。從定量上來看，使用Chamfer Discrepancy（CD）、Earth Mover Distance（EMD）和F-score這些名額發現了使用雷射雷達初始化的顯著改進。盡管光度優化高斯分布略微降低了結構品質，但引入高斯姿态細化則呈現了不同的結果：它改善了CD（Chamfer Discrepancy）和EMD（Earth Mover Distance），但對F-score産生了負面影響。盡管在一定程度上在結構完整性方面存在一些權衡，以換取更高的PSNR，但整體上相較于純粹的視覺方法，在結構度量方面表現出優越性。
7. 總結
這篇文章提出了一種LiDAR-慣性-視覺融合的實時3D輻射場建圖系統，充分利用LiDAR-慣性-視覺多模态傳感器的融合。利用LiDAR的精确表面測量能力，結合LiDAR-慣性系統固有的自适應體素特征，促進快速的初始場景結構擷取。然而，在LiDAR掃描過程中，不可避免地會遇到關鍵注入角度，這可能導緻點雲分布不合理或測量不準确。為了解決這個問題，利用從視覺觀測中導出的光度梯度來進一步優化LiDAR結構，進而提高PSNR性能。此外，我們提出的LiDAR-視覺地圖無縫內建了來自所有觀察方向的LiDAR測量和視覺觀測，提供實時渲染能力。
對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~
在這裡給大家介紹下3D視覺工坊最新推出的課程《基于NeRF/Gaussian的全新SLAM算法》：
- 本門課程從理論和代碼實作兩方面展開，帶你從零入門NeRF/Gaussian Based SLAM的原理學習、論文閱讀、代碼梳理等。
- 理論層面，從線性代數入手到傳統的計算機圖形學，讓大家明了現代三維重建的理論基礎和源頭；
- 代碼層面通過多個練習手把手教會大家複現計算機圖形學、NeRF相關工作。