Paper：https://arxiv.org/abs/1911.09318v2
Code：https://github.com/cvlab-yonsei/projects/tree/master/RRID/code
摘要：Re-ID旨在從一組相機網陣中捕獲的圖像中檢索相關人員圖像的任務。最近的Re-ID方法表明，利用描述身體部位的局部特征，加上行人圖像本身的全局特征，即使在缺少身體部位的情況下，也能提供健壯的特征表示。然而，直接使用個體的局部特征，而不考慮身體各部分之間的關系，混淆了在相應部分具有相似屬性的不同ID。為了解決此問題，我們為行人Re-ID提出了新的關系網略，它考慮了身體各個部分與其他部分之間的關系。我們的模型可使一個單獨的部件級特征也包含身體其他部分的資訊，進而使它更具有識别力。我們還介紹了一種全局對比池化方法（GCP）來獲得行人圖像的全局特征。我們提出通過GCP使用對比特征補充傳統最大和平均池化方法。在三個公開資料集上展示了我們模型的有效性。
知識點解析：
a）：概述：得到一張行人圖像的特征圖（C*H*W）。将得到的特征圖水準分割成6網格。然後對每個特征圖應用GMP，得到size為1*1*C的局部層次的特征圖。我們将特征圖送進兩個子產品中，以提取新的局部和全局行人表示：One vs rest子產品和GCP。第一個子產品通過考慮身體各部分與其餘部分之間的關系，使得每個局部層次的特征更具有辨識力，并輸出1*1*c的局部關系特征。第二個子產品提供一個1*1*c的全局對比特征，表示行人圖像本身。我們沿着通道維将全局對比和局部關系特征連接配接起來，并使用1*1*7c的特征作為Re-ID的行人表示。我們使用交叉熵和三元損失來訓練我們的模型，其中三元組為anchor、positive和negative的行人圖像。在測試時，我們提取行人圖像的特征，并計算他們之間的歐式距離來确定行人的ID。
b）：Relation networks for part-based reID：1）：局部層次特征：我們利用在ImageNet預訓練的ResNet-50作為主幹網絡，從輸入的圖像中提取初始特征圖。具體來說，根據PCB的工作，我們将ResNet-50的GAP和全連接配接去掉，并将最後一個卷積層的stride設定為1。類似于其他基于局部特征的Re-ID方法，我們将初始特征圖分成C*H/6*W的水準網格，對每個網格應用GMP，得到1*1*C的局部水準特征。2）：One VS rest關系子產品：從水準網格中提取局部層次的特征，可以隐式地利用身體的各個部分來表示不同的人。現有的Re-ID方法将這些局部特征獨立地用于行人檢索。考慮到行人圖像之間的粗糙的幾何對應，他們以特定的順序将所有局部特征連結起來。雖然此結構化的行人特征可以對幾何變化和遮擋，但是他們沒有考慮身體部分之間的關系。也就是說，各個部分是孤立的，不與其他部分通信，這就分散了計算不同ID之間在相應部分中具有相似屬性的相似度。為了緩解這個問題，我們提出利用身體各部分之間的關系來表示行人。具體來說，我們引入一個新的關系網絡（圖2），它利用身體部分的one VS rest關系，使得每個局部層次的特征都可以包含相應部分本身和其他身體部分的資訊。具體來說，我們用
(i=1...6)表示每個局部層次的特征，大小為1*1*C。我們對所有局部層次的特征應用同一個平均池化，除了特征
，其他部分的資訊按如下方式聚合：
。然後我們分别在
和
之後增加一個1*1的卷積層，分别得到大小為1*1*c的特征圖
和
。關系網絡通過連接配接
和
，為每一個
輸出一個局部關系特征
。我們在圖2中描述了一個提取局部關系特征
的例子。在這裡，我們假設
包含它自身的資訊
和身體其他部分的資訊。是以，我們使用一個跳轉連接配接來傳輸
和
到
的相關資訊：
。其中，
是包含1*1卷積、BN和ReLU層的子網絡。T表示特征的串聯。
支援局部層次的特征
，增強了對遮擋的識别能力和魯棒性。我們利用特征
之間所有成對關系，但這需要大量的計算成本，并大幅增加特征的次元。相比之下，我們的one VS rest關系子產品線上性時間内計算特征
，并保持緊湊的特征表示。
c）：GCP：為了表示一個完整的行人圖像，以前的方式要麼使用GAP，要麼使用GMP，或者兩者都有。GAP覆寫了行人圖像的整個身體部分，但是容易被背景雜波和遮擋分散注意力。GMP克服了這一問題，它在丢棄背景雜波的同時，将對Re-ID有用的最具有判别性特征聚集起來。但是，這并不包含來自整個身體部分的資訊。一種利用GAP和GMP的混合方法可能表現得更好，但它也受到背景雜波的影響。在【】中已經證明，GMP比GAP更有效，我們的實驗也再次證明了這一點。基于此，我們提出了一種基于GMP的新的GCP方法，從行人各個部位提取全局特征圖。我們在局部層次特征上首先應用平均和最大值池化，而不是在初始特征圖上應用GAP或GMP。我們分别用
和
表示分别用平均池化和最大值池化。注意，
和
對背景雜波是健壯的，因為我們使用GMP方法來獲得初始的局部特征。也就是說，我們将每個水準區域中最具判别性的部分整合起來。特别是，
相對于主幹網絡的初始特征圖，與GMP的結果相對應。然後，我們通過從
中減去
來計算出對比特征
，即他們之間的差異。除了用
的資訊外，它還聚合來自身體各個部位的大多數判别資訊。我們通過增加bottleneck層來減少
和
的通道數量，分别用
和
，最後将對比特征
的互補特征傳遞給
。形式上，我們得到輸入圖像的全局對比特征：
。其中，
是包含1*1卷積、BN和ReLU層的子網絡。全局特征
以
為基礎，結合
和對比特征
的互補資訊。是以，它繼承了GMP的優點，如對背景雜波的魯棒性，同時覆寫整個行人身體部分。我們将上式的全局對比特征
與局部關系特征
連結，作為行人圖像的特征表示。
Conclusion：
我們為person reID提出了一個關系網絡，考慮了身體各個部分與其餘部分之間的關系，使得每個部分層次的特征更加具有辨識力。我們還建議使用對比特征來表示全局person。我們在person reID上設定了一個新的技術狀态，遠遠超過了其他reID方法。消融分析清楚地證明了我們的模型中每個元件的有效性。
周郎有話說：論文中的one VS rest關系網絡還是容易了解的。GCP有點繞。