編輯：計算機視覺工坊
添加小助理：dddvision，備注：自動駕駛，拉你入群。文末附行業細分群
VINS主要包括兩種方法：優化和濾波。基于優化的方法在定位的高精度方面很顯著，但可能會受到高計算複雜性的影響。相反，基于濾波的方法實作了高效率，但犧牲了精度。是以，迫切需要開發一個結合了高精度和高效率的架構。受到基于優化的方法中的舒爾補的啟發，作者充分利用了用于姿态和地标建構的高維殘差模型中固有的稀疏結構，以實作EKF的高效性。是以，這篇文章提出了一種既實作了高效率又實作了高精度的基于EKF的VINS架構。
下面一起來閱讀一下這項工作~
标題：SchurVINS: Schur Complement-Based Lightweight Visual Inertial Navigation System
作者：Yunfei Fan, Tianyu Zhao, Guidong Wang
機構：位元組跳動
原文連結：https://arxiv.org/abs/2312.01616
代碼連結：https://github.com/bytedance/SchurVINS
準确性和計算效率是視覺慣性導航系統（VINS）中最重要的名額。現有的具有高精度或低計算複雜度的VINS算法很難在資源受限的裝置中提供高精度的定位。為此，我們提出了一種名為SchurVINS的新型基于濾波器的VINS架構，該架構通過建構完整的殘差模型和使用舒爾補償來保證高準确性和低計算複雜度。從技術上講，我們首先制定了完整的殘差模型，其中明确模組化了梯度、Hessian和觀測協方差。然後，使用舒爾補償将完整模型分解為自我運動殘差模型和地标殘差模型。最後，在這兩個模型中實作了高效的擴充卡爾曼濾波器（EKF）更新。在EuRoC和TUM-VI資料集上的實驗表明，我們的方法在準确性和計算複雜性方面明顯優于現有技術方法。
在EuRoC資料集上評估運作時間、CPU使用率和RMSE的比較。不同的形狀和顔色分别表示不同的方法和精度。
這篇文章提出了一種基于濾波器的VINS架構，名為SchurVINS，它通過建構完整的殘差模型和使用舒爾補保證了高精度和低計算複雜度。技術上，首先制定了完整的殘差模型，其中梯度、海塞矩陣和觀測協方差被明确模組化。然後，使用舒爾補将完整模型分解為自運動殘差模型和地标殘差模型。最後，在這兩個模型中高效實作了擴充卡爾曼濾波器（EKF）更新。對EuRoC和TUM-VI資料集的實驗證明，SchurVINS在精度和計算複雜度方面明顯優于最先進的方法。主要貢獻包括：
（1）提出了一個等價的殘差模型，用于處理超高維觀測，包括梯度、海塞矩陣和相應的觀測協方差。這種方法在EKF系統中具有很大的通用性。
（2）提出了一個輕量級的基于EKF的地标求解器，以高效地估計地标的位置。
（3）開發了一種新穎的基于EKF的VINS架構，以實作自運動和地标的同時精确和高效的估計。
SchurVINS是基于雙目配置的開源SVO2.0開發的，其中使用基于滑動視窗的EKF後端替換SVO2.0中的原始後端，使用基于EKF的地标求解器替換原始地标優化器。P1到Pm代表周圍環境的有效路标，用于建構殘差模型。
精度
SchurVINS的整體精度使用EuRoC和 TUM-VI上的均方根誤差（RMSE）進行評估。SchurVINS在迄今為止報告的基于濾波器的方法中獲得了資料集中的最低平均 RMSE，并且勝過了大多數基于優化的方法。此外，SchurVINS獲得了與衆所周知的基于優化方法 BASALT 類似的精度，略低于最近的競争對手 DMVIO。表 2 中的重新評估實驗完全符合預期。值得強調的是，雖然與兩個基于優化的競争對手相比精度稍有下降，但SchurVINS實作的計算複雜度顯然比兩者都要低，詳情見下一小節。
效率
效率評估在 Intel i7-9700（3.00GHZ）桌上型電腦平台上進行。全局 BA（GBA）、姿态圖優化和閉環檢測在所有算法中均已禁用。如表 3 所示，與所有提及的 VINS 算法相比，SchurVINS 幾乎實作了最低的處理器使用率。特别是，SVO2.0-wo 與 SchurVINS 需要類似的 CPU 使用率，但由于幾乎是純視覺裡程計（VO），它受到顯著的不準确性影響。
在表 4 中，SchurVINS 中的 optimizeStructure 子產品比 SchurVINS-GN 快近 3 倍。因為SchurVINS通過利用 Schur 補充的中間結果獲得了顯著的計算節省。相比之下，SchurVINS-GN 重構問題來估計地标。與 SVO2.0-wo 相比，SchurVINS 更快，因為它将高計算量的 SparseImageAlign 替換為傳播子產品。相比之下，SVO2.0-wo 的 optimizeStructure 顯然比 SchurVINS-GN 更快。原因是後者幾乎比前者多使用了 4 倍的測量來進行優化。與 SVO2.0 相比，導緻算法顯著增加運作時間的根本原因是 LBA 的高計算複雜度。考慮到 OpenVINS，值得注意的是，無論是預設配置還是具有 4 個滑動視窗最大尺寸的配置，都不能實作 OpenVINS 在效率上優于 SchurVINS。從這項分析中顯著的一點是，OpenVINS 中 SLAM 點的更新需要比 SchurVINS 提出的基于 EKF 的地标估計顯著更多的計算資源。
消融研究
上述實驗強有力地支援 SchurVINS。是以，有必要研究算法的不同組成部分的影響。基于 SchurVINS，替換或丢棄了基于 EKF 的地标求解器，以分析其有效性。如表 5 所示，如果沒有基于 GN 或基于 EKF 的地标求解器之一，SchurVINS 将無法充分限制全局漂移。此外，在某些挑戰場景中，SchurVINS 中未同時估計地标可能導緻系統發散。表 5 中對比 SchurVINS 和 SchurVINS-GN 表明，提出的基于 EKF 的地标求解器和原始 SVO2.0 的 GN-based 地标求解器都是有效且可靠的，可以保證高精度。此外，在表 4 和表 5 中對它們進行的比較表明，雖然提出的基于 EKF 的地标求解器導緻輕微的精度下降，但它可以實作明顯的低計算複雜度。精度降低的直覺解釋是，SchurVINS僅使用滑動視窗中的所有觀測來進行地标估計。
這篇文章開發了一種基于 EKF 的 VINS 算法，包括新穎的基于 EKF 的地标求解器，以實作具有高效率和高精度的 6 自由度估計。特别是，利用 Hessian、Gradient 和相應的觀測協方差構成的等效殘差模型來共同估計姿态和地标，以保證高精度定位。為了實作高效率，等效殘差模型通過 Schur 補充分别分解為姿态殘差模型和地标殘差模型進行 EKF 更新。受周圍環境元素的機率獨立性影響，由此産生的地标殘差模型被分割為一組小的獨立殘差模型，用于每個地标的 EKF 更新，進而顯著降低了計算複雜度。
這篇文章是第一個在基于 EKF 的 VINS 算法中利用 Schur 補充因子化殘差模型來加速的。基于 EuRoC 和 TUM-VI 資料集的實驗表明，SchurVINS在精度和效率上明顯優于整體的基于 EKF 的方法和大多數基于優化的方法。此外，SchurVINS所需的計算資源幾乎不到 SOTA 基于優化的方法的一半，而精度可比。與此同時，消融研究清楚地表明，基于 EKF 的地标求解器不僅具有顯著的效率，而且能夠確定高精度。在未來的工作中，作者将專注于 SchurVINS 中的局部地圖細化，以探索更高的精度。
對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~
本文僅做學術分享，如有侵權，請聯系删文。
計算機視覺工坊交流群
目前我們已經建立了3D視覺方向多個社群，包括2D計算機視覺、大模型、工業3D視覺、SLAM、自動駕駛、三維重建、無人機等方向，細分群包括：
2D計算機視覺：圖像分類/分割、目标/檢測、醫學影像、GAN、OCR、2D缺陷檢測、遙感測繪、超分辨率、人臉檢測、行為識别、模型量化剪枝、遷移學習、人體姿态估計等
大模型：NLP、CV、ASR、生成對抗大模型、強化學習大模型、對話大模型等
工業3D視覺：相機标定、立體比對、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。
SLAM：視覺SLAM、雷射SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器标定、動态SLAM、MOT SLAM、NeRF SLAM、機器人導航等。
自動駕駛：深度估計、Transformer、毫米波|雷射雷達|視覺攝像頭傳感器、多傳感器标定、多傳感器融合、自動駕駛綜合群等、3D目标檢測、路徑規劃、軌迹預測、3D點雲分割、模型部署、車道線檢測、BEV感覺、Occupancy、目标跟蹤、端到端自動駕駛等。
三維重建：3DGS、NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等
無人機：四旋翼模組化、無人機飛控等
除了這些，還有求職、硬體選型、視覺産品落地、最新論文、3D視覺最新産品、3D視覺行業新聞等交流群
添加小助理: dddvision，備注：研究方向+學校/公司+昵稱（如3D點雲+清華+小草莓）, 拉你入群。
3D視覺學習知識星球
3DGS、NeRF、結構光、相位偏折術、機械臂抓取、點雲實戰、Open3D、缺陷檢測、BEV感覺、Occupancy、Transformer、模型部署、3D目标檢測、深度估計、多傳感器标定、規劃與控制、無人機仿真、三維視覺C++、三維視覺python、dToF、相機标定、ROS2、機器人控制規劃、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三維重建、colmap、線面結構光、硬體結構光掃描器，無人機等。