相關濾波的視覺目标跟蹤算法學習

相關濾波的視覺目标跟蹤算法學習内容

1.視覺目标跟蹤的難點：

①訓練資料有限。通用目标跟蹤任務中，目标先驗知識缺乏，僅有目标初始位置資訊。

②目标不确定性。跟蹤過程中， 随着目标尺寸、形狀以及姿态等變化，其外觀模 型存在明顯差異；多目标跟蹤任務中，當目标進出視野或者完全遮擋時，目标數量存在不确定性。

③場景複雜性。在實際場景中存在光照變化、 背景雜亂、遮擋以及圖像分辨率低等挑戰

2.視覺目标跟蹤算法主體架構：

①運動模型：确定目标搜尋的候選

②特征提取：對目标或背景進行外觀模組化

③觀測模型：根據目标或背景的外觀模型，判斷候選區域是否為目标區域

④模型更新：确定外 觀模型和觀測模型的更新政策

3.視覺目标跟蹤算法類型：

①生成式跟蹤算法：生成式跟蹤算法對目标進行外觀模組化，利用跟蹤序列中目标外觀模型的相似性進行目标定位，選擇與目标模闆具有最大相似性或最小重建誤差的候選區域作為跟蹤結果。例如：粒子濾波、光流法、均值移位算法以及高斯混合模型

②判别式跟蹤算法：對目标和背景同時進行外觀模組化，将跟蹤任務視為目标和背景的分類問題，選擇分類器輸出最大值對應的候選區域作為跟蹤結果。 基于支援向量機(SVM)、多示例學習、随機森林、線上 Boosting等經典分類器的跟蹤算法以及基于相關濾波的跟蹤算法。

4.相關濾波目标跟蹤算法：

相關濾波跟蹤算法基于相關性理論，構造相關濾波器作為線上分類器，通過在目标搜尋區域 内對目标和背景進行分類，實作對目标的定位跟蹤。其流程為：候選樣本擷取、特征提取、目标定位、模型更新。如下圖

（1）最小輸出誤差平方和跟蹤算法(MOSSE)

MOSSE算法采用灰階特征，根據上一幀目 标位置提取目标候選區域，通過構造相關濾波器 實作目标跟蹤，并在頻域加速計算。

（2）核相關濾波跟蹤算法(KCF)

KCF算法在MOSSE算法的基礎上，采用具有多元資料的方向梯度直方圖（HOG）特征，利用循環移位采樣構造密集樣本，克服了MOSSE算法訓練樣本過少的問題，加入正則化項，防止相關濾波器過拟合，完成了相關濾波跟蹤算法基本架構的搭建.

（3）空間正則化相關濾波跟蹤算法(SRDCF)

采用較大的目标搜尋區域，利用從中心區域到邊緣區域平滑增大的濾波器系數限制權重，對遠離中心區域的濾波器系數進行懲罰，使相關濾波器主要關注于樣本的中心區域、忽略樣本的邊緣區域，進而抑制邊界效應。(算法目的：實作對邊界效應的抑制）

（4）基于時空正則化的相關濾波跟蹤算法(STRCF)

利用時間 正則化近似多幅圖像情況，将基于多幅圖像的訓練有效簡化為基于單幅圖像的訓練，使得算法可利用交替方向乘子法對相關濾波器系數進行求 解，提高了跟蹤速度。該方法相對 SRDCF 算法而言，大大降低了計算複雜度，但其仍沿用固定的空間正則化系數，不能根據跟蹤的目标進行靈活調整。

（5）基于自适應空間正則化的相關濾波跟蹤算法(ASRCF)

該算法聯合訓練濾波器系數和限制權重，使得限制權重能根據目标外觀變化及時進行調整，更有針對性地抑制低可靠性區域的濾波器系數。針對預設空間限制權重先驗性強、不能良好适應未知應用場景的問題。

（6）有限邊界相關濾波跟蹤算法(LBCF)

采用小尺寸相關濾波器，通過掩膜矩陣對其隐性補零擴 充，使相關濾波器能部分忽略循環移位樣本的邊界區域，在一定程度上緩解邊界效應

（7）基于通道和空間可靠性的相 關濾波跟蹤算法(CSR_DCF)

利用顔色直方圖資訊對圖像的空間可靠性進行 判斷，根據空間可靠性生成二進制掩膜矩陣，利用該矩陣對相關濾波器系數進行限制。該方法本質上也是一種空間正則化方法，但由于采用了由 0，1 組成的限制權重，使其既克服了邊界效應， 也隐性打破了目标搜尋區域矩形框形狀預設的限制。

（8）無監督深度跟蹤算法(UDT)

利用大規模無标注視訊資料對深度卷積神經網絡進行無監督訓練，使其更貼合跟蹤任務。該算法基于穩健跟蹤器的前向跟蹤和後向跟蹤應同時可靠的預設，在孿生相關濾波網絡基礎上，采用多幀驗證方法和對代價敏感的損失函數訓練網絡，使網絡提取的深度特征更适合目标跟蹤。

（9）群特征選擇相關濾波跟蹤算法 (GFS-DCF)

根據多通道特征的空間一緻性，跨越空間次元和特征通道次元進行群特征選擇，學習具有空間-通道群稀疏性的相關濾波器，實作了從空間次元和特征通道次元對特征進行壓縮.

（10）尺度空間判别跟蹤算法 (DSST)

利用二維平移相關濾波器确定目标位置，然後在此基礎上，構造具有33個尺度的圖像金字塔，利用一維尺度相關濾波器進行檢測，根據尺度相關濾波器最大響應值确定目标尺寸

（11）多特征自适應尺度跟蹤算法(SAMF)

首先構造具有7個尺度的圖像金字塔， 然後利用相關濾波器檢測，根據目标響應最大值，同時确定目标的位置和尺寸。

（12）多線索相關濾波跟蹤算法 (MCCT)

根據不同特征組合構成多專家跟蹤系統，通過多專家間分歧大小确定跟蹤結果置信度，分歧小時，表明跟蹤結果可靠性高。

（13）互補學習跟蹤算法 (Staple)

将基于顔色直方圖的跟蹤模型和 基于 HOG 特征的相關濾波跟蹤模型融合。

（14）基于卷積殘差學習的視覺跟 蹤算法(CREST)

将相關濾波器轉化為一個深度神經網絡卷積層，通過空間域卷積操作實作相關性運算，避免了樣本周期性假設和循環移位采樣，從根本上消除了邊界效應；相關濾波卷積層 完全可微分，通過網絡單向傳播更新相關濾波器，克服了經驗插值更新方式難以在模型自适應和穩定性之間取得良好平衡的問題；利用殘差學習擷取目标的外觀變化，有效緩解了目标顯著外觀變化導緻的模型快速退化問題。

（15）相關濾波網絡跟蹤算法 (DCFNet)

該算法将相關濾波器視作添加在孿生網絡後的一個特殊網絡層，該層輸出定義為目标位置機率圖，模型更新通過該層反向傳 播實作，深度特征提取和相關濾波跟蹤可端到端進行訓練。由于相關濾波網絡層的反向傳播仍然通過頻域中的點乘運算實作，該算法即保留了相關濾波跟蹤算法的高效性，也受益于網絡端到端訓練。

（16）基于空間對齊的相關濾波網絡(SACFNet)

該算法利用空間對準子產品的空間對齊功能，将目标從邊界區域轉換到具有标準化縱 橫比的區域中心，縮小目标搜尋空間，有效應對了邊界效應和目标縱橫比變化。