論文發現了紅外目标的“映射退化”現象，在訓練初期，網絡以低置信度預測目标附近的一簇像素，随着訓練的繼續，網絡預測最終逼近GT點标簽，置信度逐漸提高。并将其歸結為以下原因1)紅外系統特殊的成像機制:目标隻有強度資訊，沒有結構和紋理細節，導緻目标區域内像素高度相似2)紅外小目标的高局部對比度:目标區域内的像素在局部背景雜波的高對比度下會變得更亮或更暗3) cnn的易難學習特性:cnn總是傾向于先學習簡單的映射，然後收斂到較難的映射。
論文題目:
Mapping Degeneration Meets Label Evolution: Learning Infrared Small Target Detection with Single Point Supervision
摘要
訓練卷積神經網絡(CNN)以完全監督的方式檢測紅外小目标近年來獲得了顯著的研究興趣，但由于需要大量的逐像素注釋，是以人工成本很高。為了解決這一問題，本文首次嘗試實作點級監督的紅外小目标檢測。有趣的是，在由點标簽監督的訓練階段，我們發現cnn首先學習分割目标附近的一組像素，然後逐漸收斂到預測groundtruth點标簽。針對這種“映射退化”現象，我們提出了一種标簽進化架構，即單點監督标簽進化(LESPS)，利用cnn的中間預測逐漸擴充點标簽。這樣，網絡預測最終可以近似更新後的僞标簽，得到像素級的目标掩碼，以端到端方式訓練cnn。我們進行了大量具有洞察力的可視化實驗，以驗證我們方法的有效性。實驗結果表明，配備LESPS的cnn可以很好地從相應的點标簽中恢複目标掩模，并且在像素級交叉超過聯合(IoU)和目标級檢測機率(Pd)方面分别可以達到完全監督性能的70%和95%以上。
代碼：https://github.com/XinyiYing/LESPS
1. 介紹
紅外小目标檢測是紅外搜尋與跟蹤系統中一項長期存在的、基礎性但又具有挑戰性的任務，在民用和軍事領域有着多種重要應用，包括交通監控、海上救援和軍事監視。單幀紅外小目标(SIRST)檢測方法由于對快速運動場景的快速響應和魯棒性，一直受到人們的關注，并提出了許多方法。早期的方法，包括基于過濾的、基于局部對比的和基于低秩的方法，需要複雜的手工特征和精心調整的超參數。最近，緊湊深度學習被引入到解決SIRST檢測問題中。然而，隻有很少的嘗試，它的潛力仍然是鎖定的，不像深度學習對自然圖像的廣泛探索。這主要是由于潛在的原因，包括缺乏大規模、準确注釋的資料集和高風險的應用場景。
紅外小目标通常體積很小，弱小，無形狀，無紋理，容易淹沒在各種複雜背景雜波中。是以，直接采用RCNN系列、YOLO系列、SSD等現有流行的通用目标檢測器進行SIRST檢測并不能産生令人滿意的性能。意識到這一點，研究人員一直在專注于開發适合的深度網絡充分利用紅外小目标的領域知識。然而，大多數現有的深度SIRST檢測方法都是完全監督的，這通常需要一個具有準确目标掩碼注釋的大型資料集進行訓練。顯然，這是代價高昂的。
是以，一個自然的問題出現了:我們能否開發一個新的單點監督SIRST檢測架構?事實上，為了大幅降低目标檢測任務的标注成本，計算機視覺領域已經研究了帶有點監督的弱監督目标檢測方法。雖然這些弱監督方法取得了很好的結果，但它們并不是為SIRST檢測問題而設計的，紅外小目标的類别無關标簽(即隻有前景和背景)阻礙了它們的應用。是以，在這項工作中，我們打算進行單點監督弱監督SIRST檢測的首次研究。
這項工作的一個關鍵動機來自于在訓練SIRST檢測網絡期間的一個有趣的觀察。即在單點标簽作為監督的情況下，cnn總是傾向于在早期以低置信度分割目标附近的一簇像素，然後逐漸學習以高置信度預測groundtruth (GT)點标簽，如圖1所示。它揭示了區域到區域映射是最終區域到點映射的中間結果。我們将這種“映射退化”現象歸因于紅外系統特殊的成像機制，紅外小目标的局部對比先驗，以及cnn的易難學習特性，其中前兩個因素導緻映射區域擴充到點标簽之外，後一個因素導緻了退化過程。
基于上述讨論，在本研究中，我們提出了一個用于弱監督SIRST檢測問題的新架構，稱為單點監督标簽進化(LESPS)。具體來說，LESPS利用訓練階段的中間網絡預測來更新目前标簽，并在下一次标簽更新之前作為監督。通過疊代的标簽更新和網絡訓練，網絡預測最終可以近似更新後的僞掩碼标簽，同時對網絡進行訓練，以端到端的方式實作像素級的SIRST檢測。
本文的主要貢獻如下:
(1)首次提出了弱監督的SIRST檢測方法，并引入了能夠顯著降低标注成本的LESPS。
(2)我們發現了映射退化現象，并利用這種現象通過LESPS從給定的點标簽自動回歸像素級僞标簽。
(3)實驗結果表明，我們的架構可以應用于現有的不同的SIRST檢測網絡，使其在像素級交叉超過聯合(IoU)和對象級檢測機率(Pd)方面分别達到70%和95%以上的完全監督性能。
2. 相關工作
SIRST檢測 在過去的幾十年裡，已經提出了各種方法，包括早期的傳統範式(例如，基于過濾的方法，基于局部對比的方法，基于低秩的方法)和最近的深度學習範式。與傳統方法需要精心設計模型和精心調整超參數相比，卷積神經網絡(cnn)可以以資料驅動的方式學習輸入圖像與GT标簽之間的非線性映射，進而更好地推廣到真實的複雜場景。作為開創性的工作，Wang等人首先采用了生成式對抗網絡來實作脫靶檢測和虛警之間更好的權衡。近年來，越來越多的工作集中在紅外小目标的定制解決方案上。具體而言，Dai等專門設計了一個不對稱上下文子產品，并進一步加入了局部對比度測度來提高目标對比度。Li等通過重複特征融合儲存目标資訊，Zhang等聚合邊緣資訊，實作形狀感覺的SIRST檢測。Zhang等探索了交叉水準相關和基于變壓器的方法來預測準确的目标掩模。Wu等定制了一種多層次、多尺度特征聚合的UIU-Net架構。綜上所述，現有的作品一般以緊湊的架構設計為重點，在充分監督的情況下追求卓越的性能。然而，由于缺乏大量具有逐像素注釋的公共資料集，cnn的性能和泛化受到限制。此外，逐像素手動注釋既耗時又費力。是以，我們專注于用更弱的監督和更便宜的注釋實作更好的像素級SIRST檢測。
帶點的弱監督分割 近年來，點級标注在目标檢測、人群計數和圖像分割等密集預測任務中受到了越來越多的關注，本文主要研究圖像分割問題。具體而言，Bearman等人首次嘗試将objectness引入點監督訓練損失函數提高分割性能。Qian等利用距離度量損失來利用多個标記點的語義資訊來實作場景解析。Zhang等提出了一種由内向外引導的方法，通過5次精細點選實作執行個體分割。Cheng等設計在方框注釋中提供10個随機采樣的二值點注釋用于執行個體分割。Li等使用核心生成器對每個執行個體進行編碼，用于全視分割，僅使用20個随機注釋點即可達到82%的完全監督性能。與這些方法采用複雜的先驗限制對具有豐富顔色和精細紋理的大型通用目标進行多個精細點分割的方法不同，我們充分利用紅外小目标的局部對比先驗，在沒有任何輔助的情況下，通過單個粗點逐漸進化出端到端僞掩模。
3.映射退化現象
在本節中，我們首先描述映射退化現象以及我們的直覺解釋，然後分别在單樣本和多樣本訓練方案下進行了實驗，驗證了退化的通用性，并研究了泛化對退化的影響。
如圖1所示，給定輸入圖像和相應的GT點标簽，我們使用U-Net作為基線SIRST檢測網絡進行訓練。可以觀察到，在訓練初期，網絡以低置信度預測目标附近的一簇像素。随着訓練的繼續，網絡預測最終逼近GT點标簽，置信度逐漸提高。我們将這種現象稱為“映射退化”，并将其歸結為以下原因1)紅外系統特殊的成像機制:目标隻有強度資訊，沒有結構和紋理細節，導緻目标區域内像素高度相似。2)紅外小目标的高局部對比度:目标區域内的像素在局部背景雜波的高對比度下會變得更亮或更暗。3) cnn的易難學習特性:cnn總是傾向于先學習簡單的映射，然後收斂到較難的映射。與區域到點的映射相比，區域到區域的映射更容易，是以往往是區域到點映射的中間結果。綜上所述，紅外小目标的獨特特性導緻了點标簽之外的擴充映射區域，而cnn則加劇了映射退化過程。
值得注意的是，在紅外小目标的各種場景中，映射退化現象是普遍現象。具體來說，我們使用訓練資料集(包括1676張圖像及其相應的質心點标簽，詳見5.1節)在單樣本訓練方案下訓練UNet(即在每張圖像上訓練一個CNN)。對于定量分析，我們使用預測中正像素(即置信度高于其最大值一半的像素)和GT掩碼标簽之間的IoU結果。1676個cnn在每個epoch的平均IoU結果如圖2(a)中的藍色曲線所示，而訓練階段IoU最大的訓練樣本數量落在門檻值範圍[i,i+0.1],(i = 0,0.1,···,0.9)如圖2(b)中的藍條所示。從變焦曲線和條形圖中可以看出，在點監督下，映射退化是一種普遍現象，U-Net在60%以上的訓練圖像上可以實作IoU > 0:5。
此外，我們在多樣本訓練方案下(即使用包含大量不同大小和形狀的目标的所有圖像訓練一個CNN)進行U-Net訓練實驗，以研究泛化對映射退化的影響。1676張圖像的平均IoU結果如圖2(a)中的橙色曲線所示。可以看出，多樣本訓練方案需要更長的收斂時間。此外，圖2(b)顯示，在較大的IoU值(即0.5-1.0)時，橙色條略低于藍色條。結果表明，泛化不但減緩了映射的退化，而且加劇了映射的退化。圖2(c)顯示了在這兩種訓練方案下圖像的一些放大目标區域及其預測結果。可以觀察到，在兩種訓練方案下，cnn都可以以尺寸感覺的方式有效地分割目标像素簇。
是以，一個直覺的假設産生了:我們可以利用cnn的中間結果來回歸掩碼嗎?一個簡單的早期停止政策似乎是一個積極的答案，但實際上是不切實際的，因為映射退化受到各種因素的影響，包括目标強度、大小、形狀和局部背景雜波(詳見5.2.1節)。是以，對于所有情況，沒有固定的最優停止時間點。這些觀察結果促使我們設計一個特殊的标簽進化架構，以很好地利用僞掩碼回歸的映射退化。
4. 标簽進化架構
在映射退化的激勵下，我們提出了一種标簽進化架構，稱為單點監督标簽進化(LESPS)，利用訓練階段的中間網絡預測來更新标簽。随着訓練的繼續，網絡預測近似于更新的僞掩碼标簽，網絡可以同時學習以端到端方式實作像素級的SIRST檢測。這裡，為了便于了解，我們使用了一個簡單的一維曲線例子。如圖3所示，虛線左側的子圖表示網絡預測。注意，黑色曲線表示LESPS内部的中間預測，而灰色曲線表示網絡在沒有标簽更新的情況下産生的虛拟結果。虛線右側的第一列和第二列子圖分别表示目前标簽和更新後的标簽，黑色箭頭表示每一輪标簽更新。總體架構可以概括如下。以點标簽作為監督，在初始訓練後的第一輪标簽更新中，使用預測結果更新目前點标簽，生成第一輪更新标簽，然後用于監督網絡訓練，直到第2輪标簽更新。通過疊代的标簽更新和網絡訓練，cnn可以結合局部對比先驗，逐漸恢複掩碼标簽。從另一個角度來看，标簽進化不斷更新監督以防止映射退化，并促進cnn收斂到容易的區域到區域映射。
以第n次更新為例，給定目前标簽Ln和網絡預測Pn，我們對每個目标進行标簽更新，包括三個步驟:候選像素提取、虛警消除、候選像素與目前标簽權重求和。具體來說，根據标簽(即^Ln)中的正像素s3的質心裁剪标簽Ln和預測Pn中第i個目标的d × d局部鄰域。然後，為了減少标簽更新的錯誤積累(詳見第5.2.2節)，我們采用自适應門檻值(圖3中的紅色虛線)來提取局部鄰域候選像素(預測值高于圖3中的紅色虛線)。該過程可以定義為:
其中cin是候選像素，⊙ 表示元素乘法。Tadapt是目前預測P in與标簽^L in中的正像素相關的自适應門檻值，可按以下公式計算:
其中h, w為輸入圖像的高度和寬度，r設為0.15%。如圖4 (a)所示，Tb為最小門檻值，k控制門檻值增長率。随着^L in的增加，門檻值增大，可以減少低對比度目标和強背景雜波的誤差積累。
為了通過局部鄰域噪聲消除虛警，我們将候選像素與标簽的正像素沒有交集的8個連接配接區域排除，如圖4 (b)所示。這個過程定義為:
式中，Ein為虛警消除後的候選像素，fin為對虛警像素的掩模。
然後，我們對候選像素Ein和目前标簽Lin進行平均權重求和，以實作标簽更新，該過程可表述為:
第一項表示紅色虛線下方的GT标簽，第二項表示紅色虛線上方的預測和GT标簽的平均權重和。值得注意的是，我們提供了保證網絡收斂的三個條件:1)預測和标簽之間的平均權重求和促進cnn收斂，因為預測近似于标簽。2)像素自适應門檻值随着更新标簽中正像素的增加而增加，這會減慢或暫停标簽更新。3)随着标簽進化引入更多的目标資訊用于訓練，cnn逐漸成熟，學會了從背景中區分目标。
我們在初始進化epoch Tepoch之後開始标簽進化，并在每f epoch進行标簽更新，直到訓練結束。請注意，我們基于時代的門檻值Tepoch是一個粗門檻值，以確定網絡關注目标而不是背景雜波。
5. 實驗
在本節中，我們首先描述了實作細節，然後對映射退化現象和我們的标簽演化架構進行了全面的分析。此外，我們将我們的方法應用于具有點監督的最先進的SIRST檢測方法，并與完全監督的方法進行比較。此外，我們還比較了我們的動态更新僞标簽和固定僞标簽，并讨論了損失函數的計算。
5.1. 實作細節
我們的實驗使用了三個公共資料集NUAA-SIRST、NUDT-SIRST和IRSTD-1K。對NUAA-SIRST和NUDT-SIRST的訓練集和測試集進行分割，采用了兩個像素級名額(即相交比聯合(IoU)和像素精度(PA))和兩個目标級名額(即檢測機率(Pd)和誤報率(Fa))進行性能評估。
在訓練過程中，所有圖像被歸一化并随機裁剪成大小為256×256的小塊作為網絡輸入。我們通過随機翻轉和旋轉來擴充訓練資料。由于在點監督的SIRST檢測中存在極端的正負樣本不平衡(小于10 vs大于256×256)，我們采用了focal loss來穩定訓練過程。所有網絡均采用Adam方法進行優化。Batch size設定為16，初始學習率設定為5×10−4，在第200次和第300次epoch時降低10倍。400次之後，我們停止了訓練。所有模型都是在PyTorch中實作的，在一台使用Nvidia GeForce 3090 GPU的PC上。
5.2. 模型分析
5.2.1映射退化分析
我們使用合成圖像(模拟目标和真實背景)來研究不同目标特征(即強度和大小)和點标簽(即位置和數量)的映射退化現象。我們采用U-Net作為基線檢測網絡，如果沒有指定，則使用質心點作為GT标簽。我們計算預測中的正像素與每個曆元的GT掩碼标簽之間的IoU進行定量分析。此外，我們用GT點标簽(即紅點)和相應的CNN預測(在達到最大IoU的epoch)可視化模拟圖像的放大目标區域。為了減少訓練随機性，我們顯示了100次運作的平均IoU結果和可視化結果。
目标強度 模拟了不同峰值(即10、50、100、200、500)的基于高斯的擴充目标，以研究目标強度對映射退化的影響。圖5(a)的定量結果顯示，強度大于100，強度與最大IoU呈正相關，較低的強度會導緻負面影響。此外，曲線“intensity10”在150 epoch左右達到最大IoU，而其他曲線都小于50，這表明過小的強度減緩了退化。可視化結果表明，該方法可以很好地突出顯示不同強度下的目标區域。
目标的大小 模拟了不同半徑(即3,5,7,9,13)的基于高斯的擴充目标，以研究目标大小對映射退化的影響。圖5(b)的定量結果表明，目标尺寸越大，最大IoU越低，達到最大IoU的時間越短。這是因為随着目标尺寸的增大，目标與GT點标簽之間的尺寸差異也會增大，進而加劇和加速映射退化。可視化結果表明，cnn能夠以尺寸感覺的方式預測像素簇，預測峰值随着目标尺寸的增加而降低。
點标簽的位置 我們模拟了一個基于高斯的擴充目标(強度為500，半徑為13)，并在距離目标質心不同距離處放置點标簽，以研究點标簽位置對映射退化的影響。圖5(c)的結果表明，标簽位置的小擾動(小于3個像素)對最大IoU結果的影響較小。然而，嚴重的位置擾動(大于3個像素)會導緻IoU的最大下降，并且當點标簽靠近邊緣時下降更明顯。注意，不同标簽位置的相同目标同時達到最大IoU，這說明映射退化的速度與标簽位置無關。
标簽中的點數 我們模拟了一個基于高斯的擴充目标(強度為500，半徑為13)，并在标簽中設定了不同數量的點來研究其對映射退化的影響。圖5(d)的定量結果表明，随着點數的增加，cnn可以學習到更多的目标資訊，進而獲得更高的最大IoU結果。此外，映射退化的速度與點數無關。可視化結果顯示，随着點數的增加，預測的峰值也随之增加，說明更強的監督可以緩解映射退化，這一結論很好地支援了我們的标簽演化架構。
5.2.2标簽演化架構分析
在本小節中，我們進行實驗來研究我們的标簽進化架構(即LESPS)的有效性和最佳參數設定。我們使用更新後标簽的正像素與GT掩模标簽之間的PA和IoU來定量評價目前标簽的準确性和擴充程度。
有效性 我們将DNA-Net獲得的NUAA-SIRST、NUDT-SIRST和IRSTD-1K資料集在質心監督和粗點監督下分别使用(即w/)和不使用(即w/o) LESPS的平均結果進行比較。需要注意的是，DNA-Net w/o LESPS的結果是在極低門檻值下計算的(即0.15)，而DNA-Net w/ LESPS的結果是在标準門檻值下計算的(即0.5)。如表1所示，與完全監督相比，無LESPS的DNA-Net結果極低，這表明單點監督下的SIRST檢測是一項具有挑戰性的任務。相比之下，DNA-Net w/ LESPS在兩種點監督下的所有名額上都能取得顯著的性能改進，其性能與完全監督的同行近似。請注意，DNA-Net的粗點監督下的w/o LESPS比質心監督下的w/o LESPS Pd結果低一半以上，而兩種點監督下的DNA-Net w/ LESPS結果具有可比性。結果表明，LESPS可以很好地推廣到人工标注錯誤。
此外，我們在訓練中對進化的目标面具進行了評估。圖7(a)的定量結果顯示了進化後的目标掩模的正像元與GT标簽在20次訓練中的平均IoU值，表明僞目标掩模的品質在訓練過程中不斷提高。圖7(b)的定性結果表明，網絡可以有效地學習将點标簽擴充為掩碼标簽。此外，我們将訓練過程中我們的LESPS回歸的标簽與推理過程中的一些網絡預測可視化
如圖8(a)和(b)所示。如圖8(a)所示，與GT掩碼标簽相比，進化後的标簽與圖像中的對象更緊密地對齊(例如Misc 4, XDU113的GT掩碼由于視覺邊緣模糊而超過目标區域)，這表明LESPS可以減輕人工标注的錯誤。圖8(b)顯示，DNA-Net w/ LESPS可以端到端有效實作精确的像素級SIRST檢測。請參閱補充材料以獲得更多視覺結果。
初始進化epoch 我們研究了基于epoch的門檻值Tepoch的最優值。從圖6(a)可以看出，由于初始演化epoch較小，導緻了Pa與IoU的顯著差異(即，當Tepoch=10時，Pa與IoU的差異為0.94 vs. 0.04)。這是因為，早期的标簽進化引入了許多錯誤像素，導緻嚴重的錯誤積累和網絡收斂失敗。增加初始演化epoch可以減少誤差積累，促進網絡收斂(Tepoch=50時為0.60 vs. 0.54)。然而，過大的初始進化時期(即高度的映射退化)導緻較差的性能(0.21 vs. 0.21, Tepoch=100)。是以，我們的方法将Tepoch設定為50。
進化門檻值 我們研究了進化門檻值中k和Tb的最優值。Tb為最小門檻值，控制進化速度和誤差積累程度。K決定最大門檻值，并控制門檻值的增長速度。如圖6(b)和6(c)所示，Tb和k值過大和過小都會導緻性能下降。是以，我們在方法中選擇k=1/2和Tb=0.5。
進化的頻率 我們研究進化頻率f的最優值，圖6(d)顯示，進化頻率與PA和IoU呈正相關。然而，高演化頻率需要更多的時間來進行标簽更新。為了平衡性能和效率，我們在方法中選擇f=5。有趣的是，更高的頻率(即f=2)不會導緻服務誤差積累，這也證明了我們的LESPS收斂條件的有效性。關于趨同問題的更多讨論，請參閱補充材料。
5.3. 與最先進方法的比較
與SISRT檢測方法的比較 我們将我們的LESPS應用于幾種最先進的基于cnn的方法，包括ACM、ALCNet和DNA-Net。為了公平比較，我們在具有相同設定的NUAA-SIRST、NUDT-SIRST和IRSTD-1K資料集上重新訓練了所有模型。此外，我們将六種基于全監督cnn的方法(MDvsFA、ACM、ALCNet、DNA-Net、ISNet、UIU-Net和六種傳統方法(Top-Hat、RLCM、TLLCM、MSPCM、IPI、PSTNN)的結果作為基線結果。
表2的定量結果表明，配備LESPS的基于cnn的方法優于所有傳統方法。此外，它們還可以達到71-75%的IoU結果，以及與完全監督的對應物相當的Pd和Fa結果。圖9的定性結果表明，配備LESPS的基于cnn的方法可以産生精确的目标掩模和低虛警率的輸出，并且可以很好地推廣到複雜的場景，更多數量請參考補充材料
與其他僞标簽的比較 我們将動态更新的僞标簽與輸入強度門檻值和基于局部對比的方法生成的固定僞标簽進行了比較。具體來說，給定一個GT點标簽，我們隻保留與GT點标簽具有并集像素的檢測結果的8個連通區域。然後，我們使用僞标簽從頭開始重新訓練DNANet。如表3所示，與固定僞标簽相比，LESPS動态更新僞标簽在Pd相當且Fa增加合理的情況下，IoU值最高。
5.4. 損失函數的讨論
在本節中，我們研究了在不同背景點上計算負損失的損失函數。質心點監督下不同基線方法的平均結果如表4所示。手工制作的背景點極其有限，導緻許多誤報。随機抽樣引入了更多的背景點，很好地緩解了類的不平衡，進而大大提高了性能。然而，上述簡單的版本引入了巨大的假警報(所有點的34-1.8K倍)，這對于實際應用來說是不實用的，但會激發未來進一步深入的研究。
6. 結論
在本文中，我們提出了第一個使用單點監督實作弱監督SIRST檢測的工作。在該方法中，我們發現了映射退化現象，并提出了一種标簽進化架構，稱為單點監督标簽進化(LESPS)，以自動實作點掩模回歸。通過LESPS，可以訓練網絡以端到端方式實作SIRST檢測，大量的實驗和深刻的可視化充分證明了我們方法的有效性和優越性。此外，我們的方法可以應用于不同的網絡，在像素級IoU和對象級Pd上分别達到70%和95%以上的完全監督性能。我們希望我們有趣的發現和有希望的結果可以激勵研究人員重新思考在監督更弱的情況下實作最先進的SIRST檢測性能的可行性。