天天看點

圖像搜尋|實作拍立淘功能: 以圖搜圖

以圖搜圖

随着數字時代的到來,單單的文字搜素已經無法滿足人們的搜尋了,圖像搜尋,甚至是視訊搜尋都已經比較成熟。本文大緻講解下圖像搜尋:

原理

搜尋項目:主要分為三個部分——圖像特征抽取,建構搜素庫,建構索引。

  • 第一步:就是選取好合适的圖像特征抽取方法,傳統的方法有各種圖像處理的方法,比如hog直方圖,小波過濾等方法提取特征,現有比較熱門的深度學習方法,比如卷積神經網絡等;根據實際情況進行合理選擇,一般而言建議使用卷積神經網絡方法,但複雜的系統都會結合二者一起使用,比如淘寶的拍立淘等。
  • 第二步:使用特征抽取器對圖像庫抽取特征,并以向量的形式存儲起來;
  • 第三步:建構索引,索引的好壞影響搜尋速度,常用的有哈希編碼等;

過程

給定一張圖像,首先經過主體檢測等,或者全圖抽取特征;之後與圖像庫中的圖像特征進行特征比對,一般計算餘弦相似度名額,餘弦相似度可以用來衡量兩個向量的相似度,關于這方面的具體介紹可以看部落客的另外一篇關于餘弦相似度的介紹。最後按照相似度的大小進行排序,輸出比對結果即可。

注意事項:

  • 是否進行主體檢測
  • 搜尋時候是否有比較快速的方法,比如knn
  • 其他的優化手段

結果

紅色方框是查詢圖,綠色方框是完全比對的結果,其它是最相似的top。

圖像搜尋|實作拍立淘功能: 以圖搜圖
圖像搜尋|實作拍立淘功能: 以圖搜圖
圖像搜尋|實作拍立淘功能: 以圖搜圖

繼續閱讀