什麼是跨模态檢索與多模态檢索？

徐海蛟 博士

華中科技大學計算機學院[資料與軟體工程實驗室]

最近的跨模态檢索與多模态檢索炙手可熱。

與傳統的單模态檢索不同，在跨模态檢索中，檢索結果的模态和查詢的模态是不同的。比如，使用者使用圖像檢索文本，視訊和音頻。跨模态檢索的關鍵在于對不同模态的關系進行模組化，難點就是跨越語義鴻溝。然而，當要檢索的文檔包含多模态的時候，一般的跨模态方法就無法直接應用到多模态檢索。

多模态檢索方法可以處理帶有多個模态的多媒體資料，在多模态檢索中，查詢和要檢索的文檔可能包含不止一個模态。多模态檢索方法可以用來提高單模态檢索的準确度。多模态和跨模态檢索的主要差別在于: 在多模态檢索中，查詢和要檢索的文檔必須至少有一個模态是相同的。多模态方法通常是融合不同的模态進行檢索，而不是對他們的關系進行模組化。比如，在許多多模态圖像檢索系統中，查詢圖像可能都有相關的文本，要檢索的圖像也包含相關的文本資訊。而如果查詢和要檢索的文檔沒有相同的模态，那麼這就是跨模态要解決的問題，傳統的多模态方法就無能為力了。