比微軟kinect更強的視訊跟蹤算法--TLD跟蹤算法介紹

 ​

TLD(Tracking-Learning-Detection)是英國薩裡大學的一個捷克籍博士生在其攻讀博士學位期間提出的一種新的單目标長時間（long term tracking）跟蹤算法。該算法與傳統跟蹤算法的顯著差別在于将傳統的跟蹤算法和傳統的檢測算法相結合來解決被跟蹤目标在被跟蹤過程中發生的形變、部分遮擋等問題。同時，通過一種改進的線上學習機制不斷更新跟蹤子產品的“顯著特征點”和檢測子產品的目标模型及相關參數，進而使得跟蹤效果更加穩定、魯棒、可靠。

對于長時間跟蹤而言，一個關鍵的問題是：當目标重新出現在相機視野中時，系統應該能重新檢測到它，并開始重新跟蹤。但是，長時間跟蹤過程中，被跟蹤目标将不可避免的發生形狀變化、光照條件變化、尺度變化、遮擋等情況。傳統的跟蹤算法，前端需要跟檢測子產品互相配合，當檢測到被跟蹤目标之後，就開始進入跟蹤子產品，而此後，檢測子產品就不會介入到跟蹤過程中。但這種方法有一個緻命的缺陷：即，當被跟蹤目标存在形狀變化或遮擋時，跟蹤就很容易失敗；是以，對于長時間跟蹤，或者被跟蹤目标存在形狀變化情況下的跟蹤，很多人采用檢測的方法來代替跟蹤。該方法雖然在某些情況下可以改進跟蹤效果，但它需要一個離線的學習過程。即：在檢測之前，需要挑選大量的被跟蹤目标的樣本來進行學習和訓練。這也就意味着，訓練樣本要涵蓋被跟蹤目标可能發生的各種形變和各種尺度、姿态變化和光照變化的情況。換言之，利用檢測的方法來達到長時間跟蹤的目的，對于訓練樣本的選擇至關重要，否則，跟蹤的魯棒性就難以保證。

考慮到單純的跟蹤或者單純的檢測算法都無法在長時間跟蹤過程中達到理想的效果，是以，TLD方法就考慮将兩者予以結合，并加入一種改進的線上學習機制，進而使得整體的目标跟蹤更加穩定、有效。

簡單來說，TLD算法由三部分組成：跟蹤子產品、檢測子產品、學習子產品；如下圖所示

其運作機制為：檢測子產品和跟蹤子產品互補幹涉的并行進行處理。首先，跟蹤子產品假設相鄰視訊幀之間物體的運動是有限的，且被跟蹤目标是可見的，以此來估計目标的運動。如果目标在相機視野中消失，将造成跟蹤失敗。檢測子產品假設每一個視幀都是彼此獨立的，并且根據以往檢測和學習到的目标模型，對每一幀圖檔進行全圖搜尋以定位目标可能出現的區域。同其它目标檢測方法一樣，TLD中的檢測子產品也有可能出現錯誤，且錯誤無非是錯誤的負樣例和錯誤的正樣例這兩種情況。而學習子產品則根據跟蹤子產品的結果對檢測子產品的這兩種錯誤進行評估，并根據評估結果生成訓練樣本對檢測子產品的目标模型進行更新，同時對跟蹤子產品的“關鍵特征點”進行更新，以此來避免以後出現類似的錯誤。TLD子產品的詳細；流程框圖如下所示：

在詳細介紹TLD的流程之前，有一些基本知識和基本概念需要予以澄清：

基本知識：