一個簡單、漸進、但必須知道的基線：用于Vision Transformer的自監督學習。盡管标準卷積網絡的訓練方法已經非常成熟且魯棒，然而ViT的訓練方案仍有待于建構，特别是自監督場景下的訓練極具挑戰。
1
背景
在今天分享恺明團隊新推出的自監督學習+Transformer=MoCoV3之前，我想和大家分享下最近我看到一篇目标檢測文章，最近因為一直推送目标檢測類的，覺得這篇是個不錯的idea。
什麼是開放世界中的目标檢測呢？
A model is tasked to:
- 在沒有明确的監督下，能夠将沒有見過的目辨別别為“未知”類；
- 對于這些認定為“未知”的類，當逐漸獲得對應的标簽之後，能夠漸進地學習它們，且不遺忘以前學過的那些類别。
這個與以前提出的Open Set和Open World image classification的最大不同在于：在目标檢測器的訓練過程中，将那些未知的目标當做背景。
深度學習加快了目标檢測的研究進展，但目前現有方法都在一個強假設下進行：所有要被檢測的種類都需要在訓練階段提供。當我們放寬這一假設，就會出現兩個具有挑戰性的問題：
- 測試圖像可能包含未知類的目标，這些未知目标也需要被歸類；
- 當被識别為未知類别的标簽已經可用時，模型需要進一步學習新的類别。
2
檢測架構
論文：https://arxiv.org/pdf/2103.02603.pdf
代碼：https://github.com/JosephKJ/OWOD
第一行：在每個增量學習步驟中，模型識别未知對象（用“？”表示），這些對象被逐漸标記（藍色圓圈）并添加到現有知識庫（綠色圓圈）中。
第二行：開放世界目标檢測模型使用基于能量的分類頭和未知感覺RPN識别潛在的未知對象。此外，在特征空間中執行對比學習來學習判别叢集，并且可以以連續的方式靈活地添加新類而不會忘記以前的類。
對比聚類
在隐藏層特征空間上類的區分性将是實作類别分離的理想特征。采用對比性聚類就是為了強制性的達到上圖第二行中間圖的效果，類内差盡量小，而類間差盡量大。每個已知類别會維護一個向量是檢測器中間層生成的特征向量，假設已知類别數為，則特征向量表征為，其中代表未知類的特征向量。然後再建立一個用來存儲訓練過程中的臨時特征向量，每個類的特征向量存在其對應位置。
最後在正常損失函數上再疊加一個對比聚類損失來達到強制降低類内差，增大類間差的效果。原文中該部分的流程圖如下，其中是不疊加對比聚類損失的輪數，用以初始化已知類别的特征向量，表示，在疊代輪數大于後，每輪都計算對比聚類的損失，并每輪進行一次特征向量更新(有點像混合高斯背景模組化了)：
基于RPN自動标記機制
架構的核心就是利用RPN的建議框類别無關特性，将RPN提取的置信度最高的前K個背景建議框作為位置對象的建議框位置向後傳遞。
基于能量的分類頭
首先是基于前面提到的對比聚類将不同類别的特征表征盡量的拉開了，研究者選擇對不同類别的機率密度函數進行模組化，作為不同類别的區分，作者用圖進行了說明。
如上所示，已知和未知資料點的能量值表現出明顯的分離。研究者在每個樣本上拟合Weibull分布，并使用這些分布來識别未知的已知和未知樣本。
Alleviating Forgetting
在識别未知數之後，開放世界檢測器的一個重要要求是能夠學習新的類，當提供一些感興趣的未知類的标記示例時。重要的是，在此階段将不存在先前任務的訓練資料，因為從頭開始重新訓練不是可行的解決方案。
僅使用新類執行個體進行訓練将導緻災難性地遺忘之前的類。研究者注意到已經開發了許多涉及的方法來減輕這種遺忘，包括基于參數正則化的方法，示例重放（exemplar replay），動态擴充網絡（dynamically expanding networks）和元學習。
3
檢測效果分析
僅在任務 1 上訓練的ORE在上圖(a)中成功地将風筝定位為未知對象，而在任務3中了解風筝後，它逐漸學習檢測上圖(b)中的風筝和飛機。
在任務1上訓練後來自ORE的預測。“大象”、“蘋果”、“香蕉”、“斑馬”和“長頸鹿”尚未引入模型，是以成功歸類為“未知”。該方法将其中一隻“長頸鹿”錯誤分類為“馬”，顯示了ORE的局限性。
有關對比聚類的更多詳細資訊
使用對比聚類來確定潛在空間分離的動機有兩個：1）它使模型能夠将未知執行個體與已知執行個體分開，進而促進未知識别；2）它確定每個類的執行個體與其他類很好地分離，緩解遺忘問題。
對比損失被添加到Faster R-CNN 損失中，整個網絡被端到端的訓練。是以，在 Faster R-CNN管道中RoI Head中的殘差塊之前和包括網絡的所有部分都将使用來自對比聚類損失的梯度進行更新。
在學習任務1後，桌子頂部筆記本電腦旁邊的幾個項目被識别為未知。筆記本電腦、書和滑鼠作為任務4的一部分被引入。external-storage和walkman（兩者都沒有介紹過）最初被識别為未知，但學習任務4後沒有被檢測到，是ORE的失敗案例之一。
最終在任務2中學習到被識别為未知的手提箱，以及對椅子的誤報檢測。
上圖(a)是ORE學習Task 2後産生的結果。由于沒有引入Task 3類，如apple和Orange，ORE識别出來并正确标注為unknown。在學習Task 3之後，這些執行個體在上圖(b)中被正确标記。一個未識别的類執行個體仍然存在，ORE成功地将其檢測為未知。
下期我們來好好說說何凱明他們團隊又做出來重大貢獻的思路，有興趣的你請持續關注，謝謝！