《中國人工智能學會通訊》——11.26 雙目視訊運動物體比對及分割

上一章研究了單目視訊的運動物體分割問題，其假定比對（特征點軌迹）已經給定，而研究重點在于如何利用該比對關系來實作物體分割。在本章中，我們主要研究雙目視訊的比對和運動分割問題[7] 。在這一問題中，兩個運動攝像頭獨立拍攝同一場景，且視訊未經時域同步。相比于單目視訊，雙目視訊能更全面地覆寫物體的表觀，并有可能消除在單目視訊分割中由于運動資訊不充分導緻的歧義性。

考慮最通用的逐點比對關系。我們采用圖 4 中所示的流程來實作空域比對、時域比對，以及運動物體分割。圖

首先在每個視訊上分别提取特征點軌迹，并對兩個視訊中的軌迹點提取SIFT描述符實行初步比對。在兩個錄影機的特性、拍攝角度或尺度差别較大時，這些特征的重複度往往較低，使得我們隻能得到少量的比對特征點對，而不能滿足實際應用的需要。此外，這種基于特征描述符的比對方法還常常出現錯誤比對的情況。在接下來的精比對子產品中，考慮利用運動子空間限制來幫助解決初始比對中重複度低和存在比對錯誤的問題。在這一子產品中，通過适當地放縮優化目标，将 NP 難的比對問題轉換為矩陣填充問題（凸優化），進而進行有效求解。有了更精确的比對後，該系統将進一步改善透視效應以及得到時域比對和運動物體分割結果。