“
計算機視覺研究院
”
計算機視覺研究院專欄
作者：Edison_G
近年來，知識蒸餾已被證明是對模型壓縮的一種有效的解決方案。這種方法可以使輕量級的學生模型獲得從繁瑣的教師模型中提取的知識。
長按掃描二維碼關注我們
回複“GID”擷取論文
1、簡介
然而，以往的蒸餾檢測方法對不同的檢測架構具有較弱的泛化性，并且嚴重依賴于GT，忽略了執行個體之間有價值的關系資訊。是以，研究者提出了一種新的基于鑒别執行個體的檢測方法，而不考慮GT的正負差別，稱為通用的執行個體蒸餾(GID)。
新提出的方法包含了一個通用的執行個體選擇子產品(GISM)，以充分利用基于特征、基于關系和基于響應的知識進行蒸餾。大量的結果表明，學生模型在各種檢測架構中取得了顯著的AP改進，甚至優于教師。具體來說，ResNet-50的RetinaNet在COCO資料集上使用GID在mAP中達到39.1%，超過基線36.2%，甚至優于基于ResNet-101的38.1%AP教師模型。
2、背景及動機
由Hinton等人【Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the
knowledge in a neural network, 2015】提出的知識蒸餾(KD)是解決上述問題的一種很有前途的方法。知識蒸餾是将大模型的知識傳遞給小模型，進而提高小模型的性能，達到模型壓縮的目的。目前，知識的典型形式可分為三類：反應型知識、特征型知識和關系型知識。然而，大多數蒸餾方法主要是針對多分類問題而設計的。
直接将分類特定蒸餾方法遷移到檢測模型中的效果較差，因為檢測任務中正執行個體和負執行個體的比例極不平衡。
一些為檢測任務設計的蒸餾架構處理了這個問題，并取得了令人印象深刻的結果，例如。Li【Quanquan Li, Shengying Jin, and Junjie Yan. Mimicking
very efficient network for object detection. In Proceedings
of the IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), July 2017】通過提取RPN和Wang等人【Tao Wang, Li Yuan, Xiaopeng Zhang, and Jiashi Feng. Distilling object detectors with fine-grained feature imitation. In
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019】抽樣一定比例的正負執行個體來解決這個問題。進一步提出隻提取近GT區。然而，蒸餾的正負執行個體之間的比率需要精心設計，而僅蒸餾與GT相關的區域可能會忽略背景中潛在的資訊區域。此外，目前的檢測蒸餾方法不能同時在多個檢測架構中工作：如two-stage， anchor-free。是以，研究者希望設計一種通用的蒸餾方法，用于各種檢測架構，以有效地使用盡可能多的知識，而不涉及正或負。
3、新架構優勢
通過上圖可以知道，新架構有如下優勢：
(i)可以對一個圖像中執行個體之間的關系知識進行模組化，以便進行蒸餾。Hu【Han Hu, Jiayuan Gu, Zheng Zhang, Jifeng Dai, and Yichen
Wei. Relation networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), June 2018】示範了關系資訊對檢測任務的有效性。然而，基于關系的知識蒸餾在目标檢測中還沒有被探索。
(ii)避免手動設定正、負區域的比例，或隻選擇與GT有關的區域進行蒸餾。雖然GT相關的領域幾乎是資訊豐富的，但極其困難和簡單的執行個體可能是無用的，甚至來自背景的一些資訊塊也可以幫助學生學習教師的泛化。此外，研究者還發現，自動選擇學生和教師之間的一些判别執行個體進行蒸餾，可以使知識傳遞更加有效。這些判别執行個體被稱為一般執行個體(GIS)，因為新方法不關心正執行個體和負執行個體之間的比例，也不依賴于GT标簽。
(iii)新方法對各種檢測架構具有強大的泛化能力。基于學生和教師模型的輸出計算GIS，而不依賴于特定檢測器的某些子產品或特定檢測架構的某些關鍵特性，如anchor。
4、General Instance Distillation
先前的工作【Tao Wang, Li Yuan, Xiaopeng Zhang, and Jiashi Feng. Distilling object detectors with fine-grained feature imitation. In
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019】提出，目标附近的特征區域有相當多的資訊，這對于知識蒸餾是有用的。然而，研究者發現，不僅目标附近的特征區域，而且即使是來自背景區域的判别塊也有意義的知識。基于這一發現，設計了通用執行個體選擇子產品(GISM)，如下圖所示。
該子產品利用教師和學生模型的預測來選擇蒸餾的關鍵執行個體。此外，為了更好地利用教師提供的資訊，提取并利用基于特征、基于關系和基于響應的知識進行蒸餾，如下圖所示。實驗結果表明，新的蒸餾架構對于目前最先進的檢測模型是通用的。
5、實驗
為了驗證該方法的有效性和魯棒性，在不同的檢測架構和異構主架構上進行了實驗，并在COCO和Pascal VOC資料集的少數類檢測上進行了實驗。具體來說，在【Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun.
Faster r-cnn: Towards real-time object detection with region
proposal networks. In C. Cortes, N. D. Lawrence, D. D.
Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems 28, pages 91–99. Curran
Associates, Inc., 2015】中的設定之後，對于PascalVOC資料集，選擇在VOC2007中分割的5k訓練圖像和在VOC2012中分割的16k訓練圖像進行訓練，在VOC2007中分割的5k測試圖像進行測試。對于COCO，選擇預設的120k訓練圖像分割進行訓練，5k Val圖像分割進行測試。所有蒸餾性能均以AP進行評價。
綠色、紅色、黃色和青色框分别表示GT、正、半正和負執行個體。為了進一步分析了每種類型的一般執行個體的貢獻，并驗證了GISM的有效性，對每種類型的一般執行個體進行了實驗。引入了一個名為intersection over proposals (IoP)，以幫助分離這些GI：
GI的每個類型定義如下：
© THE END