作者 | 張偉
編輯 | 叢末
本文對WWW2020 論文《Metric Learning with Equidistant and Equidistributed Triplet-based Loss for Product Image Search》（用于圖像檢索的等距離等分布三元組損失函數）進行解讀。
1
研究背景
圖像檢索由于類内差異大、類間相似性高，非常具有挑戰性。深度度量學習在該任務上取得了一定的效果。然而，最為經典的深度度量學習損失函數——三元組損失，存在一定的問題。
首先，三元組損失限制了比對對和不比對對間的距離差異至少為一個固定間隔值，由于沒有直接限制比對對或者不比對對的距離，使得局部範圍内三元組滿足間隔限制時不能保證全局範圍内也滿足。其次，改進的三元組損失進一步限制所有比對對距離小于某個固定值以及所有不比對對的距離大于某個固定值，這種固定值限制沒有考慮到圖像不同類别的獨特性，容易造成特征空間扭曲。是以，需要通過相對距離限制去自适應地調整比對對的距離和不比對對的距離。
2
研究動機和方法實作
為了在全局範圍内進一步拉近比對對的距離和推遠不比對對的距離，在三元組損失的間隔限制基礎上，我們針對比對對和不比對對分别進行了相對距離限制。
拉近比對對：等距離限制
當兩個樣本足夠近（重合到一點）時，到任意一個其他樣本的距離應該相等。反之，如果有多個樣本到某兩個樣本的距離相等時，那麼這兩個樣本應該足夠近。基于這個直覺的幾何現象，我們提出了等距離限制。通過限制三元組中的兩組不比對對的距離相等，使得三元組中的比對對足夠近。滿足等距離限制時，存在一種樸素的最優解，即所有樣本都足夠近。為了避免這種情況，等距離限制依賴間隔限制，間隔限制可以拉開不比對對和比對對間的距離。這兩個限制的作用使比對對足夠近（理想情況下重合到一點），并且不比對對和比對對的距離間存在間隔值，是以能夠在全局範圍内通過距離差異區分開比對對和不比對對。
等距離限制：
間隔限制：
一種等距離限制的優化情形如圖1所示，三元組{}為了滿足等距離限制，比對對和朝着紅色箭頭方向移動，三元組{}為了滿足等距離限制，比對對和朝着綠色箭頭方向移動，最終比對對和朝着橘色箭頭方向移動變得更近。
圖1：等距離限制優化
推遠不比對對：等分布限制
由于三元組損失沒有對樣本的分布進行限制，可能導緻所有樣本的特征分布到某個特征子空間，使得不比對對的距離沒有被足夠拉遠。為了拉開不比對對的距離，我們期望不同類别在特征空間中盡可能均勻分布。在數學上，均勻分布等價于最大化最小距離，是以我們通過最大化類間的最小距離并且限制最小距離相等，來使得不同類别盡可能均勻分布到整個特征空間，進而增大不比對對的距離。
等分布限制：
最終，等距離限制、等分布限制和間隔限制構成了等距離等分布三元組損失函數（EET）。
EET使得比對對的距離更大，不比對對的距離更小。
圖2：EET效果
3
實驗結果
資料集使用Deep Fashion In-ShopClothes Retrieval (DFISCR)和Stanford Online Products(SOP)。
文章還對不同限制下的結果進行了特征可視化和檢索結果可視化。可以看出EET比MC(Margin Constraint)限制下學到的特征類内更集中，類間分布更均勻。
除商品檢索外，EET在行人再識别、細粒度檢索等多個檢索資料集上的精度均得到了提升，對比結果如下。
4
結束語
本文提出的EET方法通過等距離限制進一步拉近比對對的距離，等分布限制進一步推遠不比對對的距離。實驗結果表明方法可以用在多個檢索任務上。如何挑選更有資訊量的三元組來優化模型參數以及學習更緊湊的特征表示是接下來需要思考的方向。