2D/3D MOT調研總結及歸納

兩種主流方式

• Re-ID+Kalman過濾器（預測、更新）+匈牙利算法
• GNN方法

基本步驟

①檢測 ②特征提取、運動預測 ③相似度計算 ④資料關聯

1. 檢測：上遊架構，檢測品質對追蹤品質的影響最大

   檢測用于計算車輛/行人之間的特征，區分前景和背景

2. 特征提取，運動預測：第t幀識别結果和前t-1幀軌迹特征的提取，包括運動特征和表觀特征兩種
   • 運動特征：勻速運動模型、LSTM(軌迹預測)&MLP(第t幀)
   • 表觀特征：Re-ID(行人重識别)、CNN、光流
   • 運動預測：Kalman濾波、聯合機率資料關聯、GNN節點消息傳遞
   • 2D特征與3D特征的融合
3. 相似度計算：分别計算detection和tracking的運動相似度和表觀相似度，再将它們以某種方式融合起來得到最終的相似度矩陣
   • IoU、歐氏距離、餘弦距離、馬氏距離、網絡回歸
4. 資料關聯：根據相似度矩陣（代價矩陣）得到最終比對結果，二部圖比對問題
   • 基于IoU的貪婪比對，隻使用運動模型，IoU作為代價矩陣進行貪婪比對
     • 全局最優、局部最優
   • 匈牙利算法/KM算法
   • GNN

算法

SORT：最base的算法，用于2D追蹤

• Kalman濾波+匈牙利比對，IoU為代價矩陣
• 隻使用運動模型，Kalman預測值作為運動特征
• AB3DMOT與該架構相似，但是做的是3D比對

DeepSORT：SORT的改進，代價函數中加入了表觀特征

源碼解讀：https://zhuanlan.zhihu.com/p/90835266

• Kalman濾波+級聯比對+IoU比對
• 級聯比對中代價矩陣由表觀相似度和運動相似度權重得到
  • Re-ID提取表觀特征，軌迹表觀特征是過去100幀的簡單平均，餘弦距離計算相似度
  • Kalman過濾器預測值作為運動特征，馬氏距離計算相似度
  • 匈牙利算法得到初步比對結果
  • 丢幀最少的軌迹優先比對，把軌迹置信度考慮進來了
• IoU比對
  • IoU作為代價矩陣
  • 匈牙利算法進行比對

    

    

    

AB3DMOT：一個3D MOT架構

• Kalman濾波+匈牙利比對，隻使用勻速運動模型，代價矩陣為IoU
  • Kalman更新子產品涉及到了方向校正的問題，當預測方向和識别方向相差大于π，那麼修正預測結果，識别結果出錯機率更大還是預測結果出錯機率更大，修正哪個會更好一些？
  • 更新子產品根據貝葉斯規則，将比對成功的識别結果和軌迹權重平均
• 創新
  • 将Kalman濾波器擴充到3D領域
  • 提供了3D MOT的評估工具
  • 提出了新的評估名額，考慮不同的軌迹置信度門檻值
• 實驗結果
  • 3D detector：影響最大的子產品，對比3D 和2D識别器，結果是3D遠優于2D，是以可以看出識别品質是追蹤過程中最重要的
  • 2D&3D卡爾曼過濾器：3D優于2D，深度資訊對追蹤有幫助，對平坦的路段來說有必要嗎？
  • 角速度：有角速度反而會降低性能，可能是因為車輛行駛過程中沒有明顯的角速度變化，是以加入這個次元的資訊反而會帶來噪聲，那麼在路口場景下，一定會有很多轉彎、掉頭等情況，是不是加入角速度會更好一些？
  • 方向校正：加入後也會提高性能，如果考慮修改detection的角度會怎樣？
  • IoU(min)：越大性能降低越明顯
  • 新軌迹判定參數*min：小一些會提高精度并且減少FN數量，但是會加大IDS；大一些會會減少遮擋帶來的問題，但是精度和準确的都會下降
  • 舊軌迹删除參數Agemax ：它對IDS是沒有影響的，但是與遮擋是有直接聯系的
• 優勢：速度

GNN3DMOT

https://zhuanlan.zhihu.com/p/149244248

《Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning》

• LSTM/MLP擷取運動特征、CNN擷取表觀特征
• 2D特征與3D特征融合
• 使用網絡回歸計算相似度
• 預測方面：結合關聯矩陣和節點差異
• 損失函數考慮比對對之間距離更小，非比對對之間距離更大
• 網絡更新：邊-節點-全局更新（所有節點的特征均值和邊權均值）-邊更新，加入了一個全局變量在整個更新過程中進行調節

EDA_GNN

• 孿生網絡擷取表觀相似度、LSTM預測位置，得到運動相似度，兩個相似度結合建構相似度矩陣
• 基于消息傳遞機制，使用GNN網絡更新節點特征，節點特征由表觀特征和位置資訊拼接得到

FairMOT

• 感覺和JDE類似，detection和Re-ID的結合，detection更注重class，而Re-ID是對相同class中個體的identity，是以聯合訓練還是存在一定的問題
• anchor-free架構（貌似Tracktor++和CentreTrackor也是anchor-free）；Re-ID更關注底層特征，是以使用特征層次融合的方式；Re-ID特征次元不宜過高的問題