《論文筆記》——PUZZLE-CAM: IMPROVED LOCALIZATION VIA MATCHING PARTIAL AND FULL FEATURES
摘要：為了縮小從像素級監督到圖像級監督的語義分割性能差距，引入了弱監督語義分割(WSSS)。大多數先進的方法是基于類激活映射(CAMs)來生成僞标簽來訓練分割網絡。該方法的主要局限性在于，。為了解決這個問題，我們提出了Puzzle-CAM，這是一個過程，最大限度地減少來自單獨更新檔和整個圖像之間的特征差異。該方法由一個謎題子產品和兩個正則化項組成，用于發現對象中最完整的區域。Puzzle-CAM可以激活一個對象的整體區域使用圖像級别的監督，而不需要額外的參數。
介紹：以往大多數使用WSSS的方法都是基于類激活映射(CAMs)來獲得良好的性能。然而，為了對語義對象進行有效的分類，所生成的分割模型往往隻關注語義對象的一小部分，這就阻礙了分割模型對像素級語義知識的學習。此外，我們可以看到，平鋪圖像中孤立的patch生成的CAMs與原始圖像得到的CAMs是不同的。
我們使用一種基于注意力的特征學習方法來解決WSSS問題。是以，我們提出用puzzl - cam進行WSSS訓練來檢測目标的內建區域。我們的方法應用重構正則化，對應于從平鋪和原始圖像生成的CAMs，以提供自我監督。為了進一步提高網絡預測的一緻性，我們引入了一個拼圖子產品，對圖像進行分割，并将平貼圖像生成的CAMs進行合并。Puzzle-CAM由一個帶有重構正則化損失的Siamese神經網絡組成，以減少原始cam與合并cam之間的差異。
Attention Mechanisms Using CNNs：Simonyan等人使用錯誤反向傳播政策來可視化語義區域，而聯合注意模型則使用CNNs中的全局平均池化(GAP)層來更有效地生成CAMs。最後，使用最終分類器生成注意圖。據我們所知，選擇哪種注意機制對WSSS實作高性能的影響并不大，是以我們将puzzl - cam基于組合注意模型，因為它比其他注意機制更易于管理。
Weakly Supervised Semantic Segmentation：以往的WSSS方法大多是對圖像分類器生成的cam進行細化，使其近似于分割掩碼。AffinityNet訓練一個額外的網絡來學習像素之間的相似性，這通常會生成一個轉移矩陣，并與CAM相乘以調整其激活覆寫範圍。IRNet從邊界激活映射生成一個轉移矩陣，并對該方法進行擴充，實作弱監督執行個體分割和WSSS。SEAM的目标是使用像素相關子產品來細化cam，該子產品捕捉每個像素的上下文外觀資訊，并通過學習到的親和力注意圖來改變原始cam。
動機：傳統的CAM單幅圖像突出了每一類最具代表性的區域。是以，該模型在生成圖像更新檔的同類CAM時，隻關注對象的部分來尋找該類的關鍵特征。是以，圖像更新檔合并後的CAM比單一圖像的CAM更能準确地突出目标區域。為了利用上述優勢，我們提出了利用，以最小化單個圖像的CAM與圖像更新檔合并後的CAM之間的差異。通過利用重建損失訓練分類網絡，CAM可以更精确地覆寫目标區域。
The Employed CAM Method：首先介紹了初始注意圖生成的CAM方法。給定特征提取器F和分類器θ，我們可以生成CAMs A，它是所有類的CAMs集合。我們将c通道分類器的權值θc應用于輸入圖像I的特征映射f = f (I)上，得到c類的CAM如下:
用Ac的最大值對生成的CAM進行歸一化處理。最後，通過将Ac級聯得到所有類(A)的cam。
The Puzzle Module:子產品puzzle由tiling和合并子產品組成。
The Loss Design for Puzzle-CAM：我們在網絡末端采用GAP層，加入預測向量ˆY = σ(G(Ac))用于圖像分類，并采用multi-label soft margin loss 進行分類任務。
利用GAP層分别對原始(As)和tiled(Are)圖像的cam進行轉換，預測向量分别為ˆY s = G(As)和ˆY re = G(Are)。
對原始圖像和重建圖像的分類損失分别計算為：
利用這兩種分類損失來提高圖像分類的性能。
為了從原始圖像中增強cam，我們加入了重構正則化來對應原始和重構cam。原始CAM的重構損失可以很容易地定義為：
最後的損失為：