前言
港科大VINS-Mono目前已內建了IMU和cam的線上時間偏差标定。本人就其相關論文進行了閱讀，并進行内容整理。
原文：Online Temporal Calibration for Monocular Visual-Inertial Systems
單目視覺慣性系統線上時間标定
摘要
精确狀态估計是各種智能應用（如如機器人導航、自動駕駛、AR和VR）的基本子產品。視覺慣性融合是近年來六自由度狀态估計的流行技術。記錄不同傳感器測量值的時間瞬間對系統的魯棒性和準确性至關重要。實際上每個傳感器的時間戳通常受觸發和傳輸延遲，造成不同傳感器的時間錯位（時間偏移）。這種時間偏移會顯著影響傳感器融合的性能。為此我們提出一種線上方法，用于标定視覺和IMU測量值的時間偏移。我們的方法通過聯合優化SLAM系統中的時間偏移、相機和IMU的狀态以及特征點位置來實作時間偏移标定。此外，這種方法是一種通用模式，可以應用于基于特征優化的架構中。仿真和實驗結果表明，與其他最先進的離線工具相比，我們标定方法具有高精度。VIO和其他方法表明線上時間标定顯著地有利于視覺慣性系統。時間标定的源代碼已經內建到我們的開源項目VINS-Mono中。
引言
提出融合IMU的作用：
1、解決尺度模糊性（scale ambiguity），提供翻滾角roll和俯仰角pitch。
2、視覺跟蹤失敗時改善跟蹤性能。
大多數VIO假設傳感器硬體同步，而對于大多數IMU和cam組，由于觸發和傳輸延遲造成的時間戳偏差在幾毫秒到幾百毫秒範圍。
作者假設時間偏移是一個不知道值的常數，将其與cam和IMU狀态、特征點位置在一起進行優化，以線上标定時間偏移。
相關工作
Mair[19]提出了一種基于交叉相關和相位一緻性的時間和空間标定的初始化方法。該方法将标定變量與其他未知變量（位姿，特征位置）分離。 是以，它可以提供良好的先驗而不受其他變量的影響。此外該方法以更精确的公式對時間偏移模組化。
Kelly[20]利用ICP（疊代最近點）方法的變體，逐漸對齊相機和IMU的旋轉曲線以校準時間偏移。Furgale[21]的Kalibr在連續批量優化過程中估計相機和IMU之間的時間偏移、相機運動與外參。這些方法使用固定的平面圖案（如棋盤）離線操作，具有強大的特征跟蹤和關聯以及精确的3D位置。
Li[22]提出了一種線上時間标定的運動估計方法，時間偏移在多狀态限制的EKF架構中校準。其方法在計算複雜性方面具有顯著優勢，可用于便攜式移動裝置。與他的方法相比，基于優化的算法在準确性方面表現優異，因為可以疊代地優化BA中的許多變量。
算法
A. 時間偏移
定義時間偏移td表示為相機時間戳需要偏移的時間，以使得相機和IMU資料流對齊。
B. 圖像平面上得特征點速度
相對于移動整個相機或IMU序列，我們在時間線上移動特征的觀察點。為此引入了特征速度，用于模組化和補償時間偏移。在很短的時間内（幾毫秒），相機運動可以被視為勻速運動。是以，特征在短時間内在圖像平面上以近似恒定速度移動。
基于此假設，我們計算了圖像平面上的特征速度。對于圖2， I k I^k Ik和 I k + 1 I^{k+1} Ik+1是兩個連續圖像幀，假設相機在短時間内 [ t k , t k + 1 ] [t_k,t_{k+1}] [tk,tk+1]以勻速 C k C_k Ck移動到 C k + 1 C_{k+1} Ck+1。我們近似認為特征 l l l也在短時間内以勻速 V l k V^k_l Vlk在圖像平面上移動。速度 V l k V^k_l Vlk為：
其中 [ u l k , v k , l ] [u^k_l,v^k,l] [ulk,vk,l]和 [ u l k + 1 , v k + 1 , l ] [u^{k+1}_l,v^{k+1},l] [ulk+1,vk+1,l]是特征在圖像平面 I k I^k Ik和 I k + 1 I^{k+1} Ik+1的2D觀察點
C. 帶時間偏移的視覺因子
分别用兩種參數化方式将時間偏移模組化到視覺因子中：
1）3D位置參數：對于在全局坐标系下特征點的3D位置： P l = [ x l , y l , z l ] T P_l=[x_l,y_l,z_l]^T Pl=[xl,yl,zl]T
傳統方法中視覺測量被表示為重投影誤差：
其中 z l k z^k_l zlk為特征點 l l l在第 k k k幀的觀測點， ( R c k w , p c k w ) (R^w_{c_k},p^w_{c_k}) (Rckw,pckw)為相機位姿，将特征點 P l P_l Pl從全局坐标系轉換到局部相機坐标系， π ( . ) \pi(.) π(.)代表相機重投影模型，将3D特征點投影到畸變的相機平面中。
在時間線上移動特征觀察點，得到新的表達式如下：
其中 V l k V^k_l Vlk為特征點在圖像平面上的速度， t d t_d td為不知道的時間偏移量。通過優化 t d t_d td，我們可以找到時域中與IMU限制相比對的最佳相機位姿和特征觀察點。
2）深度參數：特征也可以被參數化為在圖像坐标系下的深度或逆深度。以在圖像i中的深度 λ i \lambda_i λi為例，傳統方法從圖像i到圖像j的重投影誤差為：
其中特征 l l l首先被投影到全局坐标系下，然後再投影回局部相機坐标系 j j j下的圖像平面中。而帶有時間偏移 t d t_d td的重投影誤差為：
圖3描繪了重投影過程。 虛線表示沒有時間偏移的傳統重投影方法， 實線表示考慮時間偏移的重投影，黃線表示IMU限制。 IMU限制與傳統的重投影限制不一緻。 通過優化 t d t_d td，我們可以在時域中找到與IMU限制比對的最佳相機位姿和特征觀察點。
D. 帶時間偏移的優化
通過使用上述視覺因子，可以輕松地将時間标定函數添加到基于視覺慣性緊耦合的非線性優化架構中，利用局部BA共同優化錄影機和IMU狀态以及特征位置。具體來說，整個狀态變量用時間偏移量進行擴充，定義為：
整個問題被表示為包含IMU因子、重投影因子以及先驗因子的代價函數。使用上文提出的視覺因子來實作時間偏移校準，使用高斯牛頓法進行優化。
E. 時間偏移補償
在每次優化之後，通過移動後續視覺流的時間戳來補償時間偏移， t c a m ′ = t c a m + t d t'_{cam} = t_{cam} + t_d tcam′=tcam+td。 然後系統估計後續補償過的視覺測量和慣性測量之間的 δ t d \delta t_d δtd。 δ t d \delta t_d δtd将在後續資料流中疊代優化，最後将收斂到零。 随着時間間隔 δ t d \delta t_d δtd的減小，我們的基本假設（特征在短時間間隔内以恒定速度在圖像平面上移動）越來越合理。 即使在開始時存在巨大的時間偏移（如數百毫秒），該過程也将逐漸地從粗略到精細地補償它。
實驗和結論略。
個人想法
文中提出了一種線上标定IMU與相機時間偏移的算法。算法假設時間偏移是常數，将其與IMU和相機狀态、特征點進行聯合非線性優化。
和其他将相機位姿或是IMU位姿利用速度和角速度乘以時間差進行補償的算法不同，該算法假設特征點在短時間内以恒定速度在圖像平面上移動，将IMU和相機的時間延遲，轉換為在圖像平面上特征位置的延遲，簡化了整個誤差函數。并且在每次優化後，補償後續視覺流的時間戳，再次優化新的 δ t d \delta t_d δtd，直至其收斂到0。