作者丨GlobalTrack
編輯丨極市平台
論文連結：https://arxiv.org/pdf/2303.13853.pdf
源碼連結：https://github.com/mecarill/2pcnet
簡介
夜間目标檢測在很多應用是至關重要的。然而監督算法對标注資料的要求是不可行的，因為帶注釋的夜間資料很少，且監督方法容易過拟合于訓練資料。其中一個原因是夜間圖像的弱光照條件使難以标注。域自适應是對缺乏夜間标注的一種有效解決方案，允許使用随時可用的有标注日間資料集。
近期提出的無監督域自适應方法利用學生-教師架構。因為學生模型初始從監督損失學習，與源域資料存在偏差。增廣和對抗訓練提出解決這個問題。然而在日-夜無監督域自适應問題中，這些方法遇到了很多的教師模型産生不準确的僞标簽問題。在本文研究中，指出這些問題時由于對夜晚域小尺度特征知識了解不充分造成的，之後這些知識直接在學習過程中在教師模型和學生模型間傳播，導緻了較差的目标檢測性能。
為了解決這個問題，本文2PCNet給出了一個二階段一緻非監督域自适應網絡（two-phase consistency domain adaption network）用于夜間目标檢測。本文網絡将在第一階段預測的高置信度為标簽邊界框與學生RPN提出的區域合并。然後教師在第二階段使用合并後的建議框生成一組新的為标簽。通過該方法提供了高置信度和低置信度僞标簽組合。然後将這些為标簽與學生生成的預測進行标簽。這裡需要使用權重一緻性損失確定無監督損失高權重是基于可靠為标簽，但允許較不可靠的僞标簽參與訓練。
為了進一步解決小尺度目标錯誤問題，這裡涉及了一種學生縮放政策，故意縮國小生夜間圖像和為标簽。為了生成準确為标簽，給教師圖像保持在它們全比例。這導緻更容易預測的較大目标為标簽被縮小到較小目标，進而提高學生小尺度目标性能。
另一個問題是夜間圖像存在白天場景中未出現的多種複雜情況，如黑暗區域、眩光、顯著噪聲、不平衡照明等。出現的問題是接收白天圖像訓練學生模型更傾向于日間區域特征。為了緩解這個問題，本文提出NightAug，一組随機夜間特定增廣。NightAug包括模拟夜間條件的人造眩光、噪聲和模糊等。通過NightAug增廣，可以減少學生網絡對源資料偏見。
本文方法
定義是白天源域資料。。定義是夜晚目标域資料集。。
本文的2PCNet由學生和教師網絡組成。學生是在白天圖像，NightAug增廣的圖像與無标簽夜晚圖像上訓練的多域網絡。教師模型關注于夜晚圖像産生給學生模型的僞标簽，且由學生模型指數移動平均得到的。在初始的預訓練階段後，教師模型開始産生僞标簽允許學生模型初始化特征提取器和檢測器。
每次疊代中，在2PCNet第一階段，教師模型産生夜間圖像的僞标簽。僞标簽由一個置信度門檻值過濾，確定隻有高置信度的僞标簽給學生模型。僞标簽的包圍框與學生RPN生成的區域建議框合并。合并後的區域建議框用于從學生ROI網絡生成預測框。第二階段中，教師利用相同的合并區域建議框生成與僞标簽配對的集合。
學生模型需要預訓練一些周期，這是由增廣的白天圖像的監督損失實作的：
一旦預訓練階段完成，學生模型權重遷移到教師模型中。在後續的疊代周期中，教師模型權重是學生模型的指數平均移動（EMA）。教師模型生成的配對僞标簽被用于指導無監督損失：
兩階段一緻性
由于白天源域圖像和夜間域圖像巨大的域差異，教師模型不能産生高品質僞标簽。這在全部場景都會存在，特别是由強烈夜間特點的區域（低光照、眩光、光線不均勻等）。教師模型隻能在與白天共享較多相似性的區域産生自信的僞标簽。這會偏向白天域。這種偏差給那些使用硬門檻值過濾分類交叉熵的方法帶來個問題，即剩下的僞标簽隻包含具有白天屬性的簡單樣本，學生不會從更困難的區域學習。
由于對困難樣本（具有高水準夜間屬性的區域）了解極少，教師開始預測高度自信但不正确的僞标簽。當教師向學生提供這些不正确的僞标簽時，黏性循環開始了，教師模型反過來又更更新了不正确的知識。最後錯誤在訓練時傳播。為了解決誤差傳播問題，本文設計一種兩階段方法，将高可信僞标簽和不自信的對應标簽項結合。這種組合允許自信标簽的高準确性與額外的對較少自信标簽的知識被蒸餾到學生模型。
第一階段，未标記的夜間圖像被用于教師生成僞标簽的輸入。這些僞标簽用一個門檻值進行過濾，隻保留高置信度僞标簽。僞标簽包圍框用于學生模型的輸入。與學生模型RPN生成的區域建議框融合：
是組合的區域建議框，用于學生模型RoI子產品的輸入預測類别和包圍框。
第二階段使用相同的組合區域建議框開始，在第一階段作為RoI子產品輸入生成一組僞标簽：
與比較：
這個操作確定了由教師産生的高度自信預測的知識提煉給學生。此外還可以學習到來自不太自信的預測中資訊。算法中需要懲罰不太自信的預測，這裡使用權重KL散度作為一緻性損失：
定義為最高的置信度。
學生模型尺度政策
本文指出物體尺度對夜間物體檢測有很強的影響，主要因為較小的物體容易被炫光或噪聲壓制。為了使學生模型克服這個問題，本文對學生模型應用縮放增廣，其中包括圖像和有教師生成的僞标簽。随着訓練機型，按照一個訓練表增加學生增廣尺度，直到等于原始圖像尺度。通過疊代地增加尺度，允許學生模型在訓練過程早期關注于較小的特征。這一過程鼓勵教師模型在訓練後期階段對較小尺度目标做出更準确的預測。反過來，精确的小尺度僞标簽允許增加學生輸入的尺度。
為了確定不忘記之前的尺度知識，應用尺度因子的高斯函數。由訓練排程獲得高斯函數範數。為了防止由于僞标簽太小而産生額外噪聲。
NightAug
夜間圖像由很多在白天場景不會出現的複雜場景。這造成了學生-教師架構中學生模型将偏向源域。之前方法嘗試解決這個問題，但要麼需要計算密集的變換要麼在架構中需要額外的域分類器，這些顯然使架構複雜化了。本文提出NightAug增廣，一種夜間特定增廣方法，且屬于計算輕量且不需要額外的計算。NightAug由一系列增廣組成，目标是引導日間圖像特征類似于夜間圖像。
夜間圖像的特征是較暗且比白天圖像有較低的對比度。此外由于數位相機特性（例如亮度和彩色信号雜波），信号-夜比（Signal-to-night ratio, SNR）可能會更高。夜燈和發光的路燈與前燈也出現在夜間圖像中。此外，由于相機無法在黑暗環境中檢測到參考點，圖像可能會失焦。
考慮到夜間圖像特性，本文的NightAug包括随機的：亮度，對比度，伽馬，高斯噪聲，高斯模糊增強和随機炫光插入。增強随機應用于圖像的，并在強度上也是随機的。這種随機性導緻暴露在學生的圖像差異更大，進而導緻更穩健訓練。為了進一步增加圖像方差，在每個增廣步驟中，圖像随機片段将忽略該增廣應用。這表明，夜間圖像中不同區域有不均勻照明。這種不均勻的光纖影響了局部區域的上述特征。
實驗
與之前SOTA方法一緻，采用Faster RCNN作為基礎檢測模型與在ImageNet資料集上預訓練的ResNet-50作為特征抽取器backbone。
BDD100K資料集
這裡驗證本文方法在真實駕駛場景并在夜間圖像上評估域自适應性能。可以看出本文方法獲得了最好的性能（AP 46.4）。另外注意到學生教師模型的AP名額不如上界算法，原因在于噪聲僞标簽的傳播。但本文2PCNet方法沒有遇到相同的問題。與上界方法相比，本文方法在大多數類上取得了更高的AP名額。
表2給出了基于Image-to-image Translation方法與本文2PCNet方法比較。變換方法不存在錯誤傳播問題，因為是在沒有教師情況下在Faster RCNN模型上訓練。即使如此，還是看到，本文方法優于不良視覺轉換的SOTA。
為了進一步比較本文方法與SOTA，在SHIFT仿真資料集上評估。優于魔術資料的性質，之前提到的許多夜間圖像特征在這些資料中沒有表現出來，如模糊度、噪聲和眩光。
表3給出了相關實驗結果。可以觀察到先前使用教師學生架構的SOTA方法比Upper lower方法表現更差。性能較差的原因在于錯誤傳播。可以看出，DA Faster RCNN性能優于SOTA學生-教師模型方法。，因為不會受到錯誤傳播的影響。然而它仍基本低于性能Upper-bound。2PCNet性能也優于這些以前的方法。本文實作了比之前SOTA學生-教師模型+10.2 AP，比Upper-bound +2.1 AP。
部分圖檔可視化結果：