本文内容來源于《測繪學報》2024年第4期（審圖号GS京(2024)0714号）
通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測
黃啟灏
,1, 靳國旺,1, 熊新1, 王麗美2, 李佳豪1
1.資訊工程大學地理空間資訊學院，河南 鄭州 450001
2.河南城建學院測繪與城市空間資訊學院，河南 平頂山 467000
基金資助:國家自然科學基金(41474010)
作者簡介
第一作者簡介:黃啟灏（1998—），男，碩士生，研究方向為合成孔徑雷達目标檢測與識别。E-mail：[email protected]通信作者: 靳國旺 E-mail:[email protected];[email protected]
摘要：輕量化SAR目标檢測方法對快速檢測SAR影像中的地物目标具有重要意義。針對輕量化檢測方法精度不高的問題，設計了一種通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測方法。該方法通過對複雜網絡中批歸一化層的縮放因子γ進行稀疏化訓練，判别對應特征通道的重要程度，進而裁剪次要通道，并在微調訓練後将其作為教師網絡，構造知識蒸餾架構指導輕量模型訓練，提高輕量模型的檢測精度。采用YOLOv5-6.1算法搭建了檢測架構，并在重組的MSAR和SSDD多類目标資料集上進行了訓練和檢測試驗，結果表明該方法能夠在保持模型體積僅3.73 MB的輕量化條件下，提升SAR目标檢測精度，驗證了本文方法的有效性。
關鍵詞： SAR ; 目标檢測 ; 輕量化 ; 通道剪枝 ; 知識蒸餾
本文引用格式
黃啟灏, 靳國旺, 熊新, 王麗美, 李佳豪. 通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測[J]. 測繪學報, 2024, 53(4): 712-723. doi:10.11947/j.AGCS.2024.20220605.
HUANG Qihao. Lightweight SAR target detection based on channel pruning and know-ledge distillation[J]. Acta Geodaetica et Cartographica Sinica, 2024, 53(4): 712-723. doi:10.11947/j.AGCS.2024.20220605.
閱讀原文
http://xb.chinasmp.com/article/2024/1001-1595/1001-1595-2024-04-0712.shtml
合成孔徑雷達(SAR)是一種主動發射并接收電磁波的微波成像傳感器，因具有穿透雲霧、雨雪的能力，可全天時、全天候對地觀測，在災害應急救援、空間資訊偵察及環境态勢感覺等領域發揮了巨大作用[1-4]。近年來，随着SAR衛星的相繼發射，擷取了大量SAR影像資料。但由于SAR獨特的成像機理，人工對SAR影像進行目視判讀解譯需要豐富的經驗，且耗時費力。是以，需要研究SAR影像的目标檢測技術。傳統的SAR目标檢測根據任務目标的不同，所采用的算法也有差異。在針對艦船目标時，一般結合船舶尾迹、海面參數特點等進行算法設計，如文獻[5]提出的基于雙參數模闆和尾迹聯合檢測的方法；針對車輛類目标，通常采用模闆比對和特征提取等方法，如文獻[6]提出的基于PCA特征的識别方法。傳統的檢測方法雖然在速度上有了大幅提升，但精度較低，并且分類器依賴于人工設計。在海量SAR資料的快速擷取和實際任務的驅動下，傳統的檢測方法已不能滿足目前SAR目标檢測時效性與準确性的需求，國内外衆多專家學者将計算機視覺和深度學習方法引入該領域[7-9]，其中最具代表性的是卷積神經網絡(convolutional neural network，CNN)，通過學習目标紋理和輪廓淺層特征，以及目标深層抽象語義資訊[10]實作端到端的目标檢測任務，相比于傳統方法更适用于複雜場景下的檢測任務，逐漸成為現階段SAR目标檢測的主流方法[11]。然而，現階段基于深度學習的目标檢測算法通常需要強大的算力支援，在實際的SAR目标檢測應用中，方法往往需要滿足體積小、易移植、高精度且高效率的要求。是以輕量化的SAR目标檢測方法成為了目前研究的重點，研究人員主要從網絡剪枝[12]、知識蒸餾[13]及網絡結構修改等方面進行了輕量化改進。在網絡剪枝方面，文獻[14-15]都将通道剪枝[16]引入了SAR目标檢測網絡，有效減少了模型的參數量、計算量及推理時間，但是犧牲了檢測精度。文獻[17]在特征提取網絡和特征融合網絡輕量化的基礎上，采用基于幾何中值的剪枝算法對網絡進一步壓縮，加快了模型的推理速度。在知識蒸餾方面，文獻[18]将MobileNetV2[19]作為SSD[20]檢測算法的特征提取網絡以實作輕量化改進，并将其作為學生網絡，同時利用知識蒸餾提高輕量網絡的性能，但與源網絡模型的檢測精度仍有一定差距。文獻[21]設計的結合特征圖與檢測頭分支知識蒸餾的輕量化任意方向SAR艦船檢測器，将像素點間的相似度建構為熱度圖蒸餾知識，在減少模型參數量條件下，提高了檢測精度和速度。文獻[22]從SAR圖像的前景和背景關系模組化，通過對解耦特征的拓撲距離進行知識蒸餾，增強學生網絡學習前景和背景之間的關系以及對背景噪聲的穩健性。文獻[23]則從不同輕量化方法結合的角度探究了知識蒸餾前對教師網絡進行非結構稀疏化的有效性。上述方法中，網絡剪枝和知識蒸餾分别從複雜模型壓縮和輕量模型性能提升方面進行優化，文獻[23-24]将上述兩種方法的優勢結合，利用網絡剪枝構造輕量化的網絡模型，再通過知識蒸餾提高剪枝後的輕量化網絡模型的檢測精度。文獻[25]則通過注意力機制針對性地裁剪網絡中的次要通道，再利用橋連接配接的知識蒸餾方法恢複網絡性能。但是在實際應用中，網絡剪枝的壓縮往往需要以犧牲檢測精度為代價，且過度剪枝會造成模型精度嚴重下降，無法完全滿足輕量化且高精度的SAR目标檢測需求；知識蒸餾雖然在一定程度上可以提高輕量模型的檢測精度，但是在模型容量差異過大的情況下，學生網絡難以充分學習教師網絡的複雜知識，導緻精度提升的效果受限。針對上述問題，本文設計一種利用通道剪枝的方式壓縮教師網絡體積并優化攜帶知識，再通過知識蒸餾指導學生網絡訓練的輕量化SAR目标檢測方法，在目前被廣泛應用的先進目标檢測方法YOLOv5上搭建檢測架構，在重組的MSAR和SSDD多類目标資料集上進行的試驗驗證了該方法的有效性。
1 通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測方法
本文設計的通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測架構如圖1所示，由通道剪枝子產品、知識蒸餾子產品和SAR目标檢測子產品組成。
圖1
圖1 通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測架構
Fig. 1 Lightweight SAR target detection framework based on channel pruning and knowledge distillation
通道剪枝子產品将複雜模型在SAR影像資料集上進行稀疏化訓練，判别模型中各通道的重要程度并裁剪次要通道，經過微調訓練得到剪枝優化後的複雜模型。知識蒸餾子產品将剪枝優化後的複雜模型作為教師網絡，指導輕量的學生網絡進行訓練，并在教師網絡和學生網絡的輸出上建構L2蒸餾損失，使模型參數不斷更新，得到輕量化的SAR目标檢測權重模型。最後在SAR目标檢測子產品下使用輕量的檢測權重模型實作對SAR影像中目标的穩健檢測。
1.1 通道剪枝子產品
通道剪枝子產品由稀疏化訓練、通道剪枝和微調訓練3個步驟組成。在複雜模型的訓練過程中，利用L1正則化對批歸一化(batch normalization，BN)層中的縮放因子γ進行稀疏化，判别和裁剪對應的次要特征通道，并在壓縮複雜模型體積的同時，利用微調訓練優化模型中的特征資訊。
1.1.1 稀疏化訓練
稀疏化訓練的目的是判别卷積層特征圖中各通道的重要程度，向通道剪枝提供參考名額。為避免引入額外的計算開銷，對BN層中的縮放因子γ進行稀疏化處理作為判斷通道重要性的依據。令前一層的輸出為x1，x2，…，xm，m為訓練樣本批處理數，μB和σB為每一批次資料的均值和方差，ε為用于防止計算時分母為0的正則化參數，歸一化輸出為
(1)
為提高模型的非線性特征提取能力和整體的表達能力，通過可學習的縮放因子γ和平移因子β對資料分布進行重構，yi為重構結果
(2)
采用L1正則化的方式，對卷積層中各通道所對應γ值的集合Γ進行稀疏化表達。稀疏化後，γ值趨于0的特征通道即為次要通道。将Γ的正則化式引入網絡損失函數L
(3)式中，l(f(x，W)，y)為原卷積神經網絡的損失函數；(x，y)為訓練的輸入和目标；W為可訓練的權重；λ為平衡因子；g(γ)是對縮放因子的稀疏懲罰項，即
。
對式(3)求關于γ的偏導數可知，偏導數在γ＝0處不連續，若左右偏導數異号，則損失函數L在此處存在極小值點。在次梯度下降的優化過程中，将使部分γ不斷朝0靠近，集合Γ變得稀疏
(4)
1.1.2 通道剪枝
基于稀疏化訓練後的縮放因子γ，将其與卷積層特征圖中對應的通道相連接配接，并取絕對值排序。通過設定剪枝比例确定剪枝門檻值S，若特征通道對應的γ小于門檻值S，則将其判定為次要通道并施加裁剪。但為了保證網絡結構的完整性，門檻值應不大于任何BN層中最大的γ值，以確定與主幹網絡次元的比對。同時，對于網絡中帶有殘差連接配接的結構不進行剪枝，保證直徑連接配接和殘差層特征圖的次元一緻。通道剪枝的過程如圖2所示。在原始網絡的第i個卷積層特征圖中，令每個通道分别連接配接一個稀疏化後的縮放因子γ，圖中特征通道Ci2和Ci4對應的γ值小于門檻值，對于網絡整體性能的貢獻相對較小，是以，将其對應的上一層卷積核及特征通道進行裁剪，達到壓縮模型體積的目标。
圖2
圖2 通道剪枝過程
Fig. 2 The process of channel pruning
1.1.3 微調訓練
對複雜模型的次要通道進行剪枝之後，為了減小特征通道缺失對檢測精度造成的影響，利用剪枝後的網絡模型初始化權重進行微調訓練，恢複剪枝後模型的檢測精度，為下一步提升輕量化模型的檢測精度奠定基礎。
1.2 知識蒸餾子產品
在知識蒸餾子產品中，将通道剪枝子產品輸出的剪枝優化後的複雜模型作為教師網絡，輕量模型作為學生網絡，分别構造“學生網絡預測-教師網絡預測”和“學生網絡預測-真值标簽”之間的損失函數，再以兩者權重和作為總損失用于更新模型參數，提高輕量學生網絡的檢測精度和對目标響應的穩健性。
1.2.1 知識蒸餾網絡架構
為在知識蒸餾中實作教師網絡泛化能力向學生網絡的遷移，需要網絡全面地學習正負樣本的特征。網絡中的Softmax函數可以把神經元的輸出映射至(0，1)區間内，相當于輸出預測類别的機率；但是當Softmax輸出的機率分布較小時，負标簽的值将趨近于0，在計算損失函數時的貢獻将被削弱。是以采用在Softmax函數中添加溫度變量τ來放大負标簽攜帶的資訊，使學生網絡更好地學習不同目标的類間差異，提高檢測精度
(5)
(6)
式中，yi為前一神經元的輸出；
和y″ 分别為添加溫度變量τ前後的Softmax函數輸出。
知識蒸餾的結構如圖3所示。教師網絡的Softmax輸出經過升溫得到的預測結果稱為軟标簽，學生網絡的Softmax輸出根據是否經過升溫，得到的預測結果分别稱為軟預測和硬預測，結合硬标簽的真實标注資訊分别構造蒸餾損失Ldistill和學生損失Lstudent，并以權重和的形式構造總體損失L，用于更新參數得到目标檢測權重模型。
圖3
圖3 知識蒸餾結構
Fig. 3 Structure of knowledge distillation
1.2.2 知識蒸餾損失函數構造
在原始的網絡中，損失函數由目标損失fobj、分類損失fcl和邊界框損失fbb 3部分構成，通過不斷的疊代訓練，使損失值逐漸減小并收斂，模型預測值不斷逼近真實值
(7)
式中，
、
、
為模型預測的目标、類别機率和邊界框；
、
、
為對應的真實值。
由于目标損失是判斷背景與目标的主要依據，也是進一步學習目标類型和位置回歸的先決條件。首先需要對目标損失函數進行修改。利用軟化後的教師網絡預測和真實标簽，同時指導學生網絡對目标特征的學習。修改後的目标損失函數
(8)
式中，
為修改後的目标損失函數；
、
、
分别目标真實值、學生網絡的預測值和教師網絡的預測值；
和
分别為學生網絡目标損失和蒸餾目标損失；λD為平衡系數。
由于YOLOv5在對目标類型預測的同時也對邊界框進行預測，标準的知識蒸餾将會使教師網絡對背景框的預測也轉移給學生網絡，進而影響學生網絡對目标框的預測。是以，為確定隻有在教師網絡對目标預測值較高的情況下，學生網絡才去學習其類别機率和邊界框資訊，在分類和邊界框損失函數的蒸餾損失中引入了與更新後教師網絡目标預測值
的乘積。若預測框中的對象是背景，
的值将會很低，使得蒸餾損失趨近于0，可有效防止學生網絡錯誤地學習背景資訊。修改後的類别損失函數為
(9)
式中，
為修改後的類别損失函數；
為學生網絡分類損失；
為蒸餾分類損失；
、
和
分别為目标機率的真實值、學生網絡的預測值和教師網絡的預測值；λD為平衡系數；
為更新後的教師網絡目标預測值。
同理，邊界框損失函數具有類似的表達為
(10)
式中，
為修改後的邊界框損失函數；
為學生網絡邊界框損失；
為蒸餾邊界框損失；
、
和
分别為目标邊界框的真實值、學生網絡的預測值和教師網絡的預測值；λD為平衡系數；
為更新後的教師網絡目标預測值。
最後，網絡中用于更新模型參數的總體蒸餾損失L為式(8)—式(10)之和
(11)
1.3 SAR目标檢測子產品
在配置正确的環境和變量下，将待檢測SAR影像輸入SAR目标檢測子產品中，利用知識蒸餾子產品輸出的輕量化SAR目标檢測權重模型和前向傳播算法，回歸得到待檢測影像中的目标類型和位置資訊，最終實作高精度的輕量化的SAR目标的檢測與定位。綜上所述，本文設計的通道剪枝與知識蒸餾相結合的輕量化SAR目标檢測方法主要從教師網絡特征精煉，正則化和暗知識學習3方面提升輕量學生網絡的檢測效果。①通道剪枝剔除了教師網絡的次要通道，實作了特征精煉，進而在知識蒸餾過程中能夠更準确地為學生網絡輸送重要的特征知識，提升學生網絡性能；②通道剪枝使得教師網絡的參數減少，複雜度降低，是以可被視為一種降低過拟合風險的正則化方式，剪枝優化後的教師網絡通常能更好地泛化到新的資料上，在知識蒸餾過程中，學生網絡也将更傾向于學習到更具泛化能力的模式和知識；③知識蒸餾中的關鍵之一在于“類間互相關系”“樣本相似性”等暗知識的學習與傳遞，剪枝優化後的教師網絡更有可能關注到目标的重要特征，提高其預測資訊的品質，傳遞給學生網絡的暗知識也更具有指導性和豐富性。圖4展示了不同軟化程度的标簽在置信度方面的資訊表達。其中，二值的硬标簽隻能說明是目标與否，資訊過于單一。軟化後的标簽則能在一定程度上使類間相對機率更平滑，有助于網絡挖掘用于差別不同類目标的深層特征。而經過通道剪枝後的軟标簽則提供了更平滑的資訊分布，不同目标的類間差異被進一步放大，暗知識更加豐富，使學生網絡更容易了解檢測任務和模仿教師網絡的決策過程，同時增強其對不确定性目标的模組化能力。
圖4
圖4 不同程度軟化的标簽的資訊表達
Fig. 4 Information expression of labels with different softening degrees
2 試驗驗證
2.1 試驗環境和SAR影像資料集
本文試驗環境為Windows 10作業系統和Pytorch深度學習架構，計算機配置為Intel Xeon Gold 6230，2.10 GHz；128 GB記憶體，兩塊NVIDIA GeForce RTX 2080Ti顯示卡，22 GB顯存。為驗證本文設計的輕量化SAR目标檢測方法在多目标類型條件下的适用性，将MSAR資料集[26-27]中的油罐、橋梁目标和SSDD資料集[28]中的艦船目标進行組合，建構試驗資料集。MSAR資料集中包含1250張油罐目标圖像和1582張橋梁目标圖像，SSDD資料集中包含1160張艦船目标圖像(圖5)。各類目标均以8∶2劃分為訓練集和驗證集，其中SSDD艦船資料集的劃分采用文獻[28]的劃分規範，詳見表1。
圖5
圖5 資料集中目标類型
Fig. 5 The target types in the datasets
表1 試驗資料集數量分布
Tab. 1 Number distribution of experimental datasets
| 目标類型 | 資料集 | 訓練集/張 | 驗證集/張 | 平均目标數/(個/張) |
|---|---|---|---|---|
| 油罐 | MSAR | 1000 | 250 | 9.86 |
| 橋梁 | MSAR | 1266 | 316 | 1.17 |
| 艦船 | SSDD | 812 | 232 | 2.12 |
新視窗打開| 下載下傳CSV
試驗按照計目标檢測中常用的方法評價名額來驗證方法的有效性，其中包括：召回率R、準确率P、平均精度mAP、F1值、模型大小、推理時間
(12)
(13)
(14)
(15)
式中，TP為正确檢測出的目标數；FN為漏檢目标數；FP為錯檢目标數；n為目标類别數；P(R)為準确率和召回率的曲線；平均精度mAP的值越大表明模型性能越好。
2.2 參數設定與模型優選
為确定最優的教師網絡和學生網絡，首先利用YOLOv5中5種不同大小的網絡在資料集上分别進行訓練。參數設定：epochs為300；初始學習率為0.01；IoU門檻值為0.5；Batch Size為16；輸入圖像尺寸為640×640；優化器采用SGD。在通道剪枝與知識蒸餾過程中，稀疏化訓練參數sr為5×10－4；知識蒸餾溫度變量τ為20，知識蒸餾損失函數為L2蒸餾損失；平衡因子α為0.5。經訓練後，不同大小的網絡模型在驗證集上的性能見表2。
表2 不同大小的網絡模型訓練結果
Tab. 2 Training results of network models of different sizes
| 網絡模型 | 平均準确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型體積/MB | 平均推理時間/ms |
|---|---|---|---|---|---|
| YOLOv5-x | 90.9 | 93.6 | 93.9 | 165.00 | 23.9 |
| YOLOv5-l | 90.9 | 90.9 | 93.1 | 88.50 | 14.4 |
| YOLOv5-m | 91.4 | 92.5 | 94.2 | 40.20 | 8.9 |
| YOLOv5-s | 91.3 | 93.3 | 94.0 | 13.70 | 3.6 |
| YOLOv5-n | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
新視窗打開| 下載下傳CSV
由于資料集的數量有限，過大的模型容易導緻過拟合，造成平均精度的下降。是以本文選擇具有最高檢測精度的中等體積網絡YOLOv5-m作為基準教師網絡。而YOLOv5-n的大小僅有3.73 MB，适合作為學生網絡。
2.3 試驗結果與分析
2.3.1 不同通道剪枝比例下的知識蒸餾對比試驗
為驗證本文方法的有效性和教師網絡經不同比例剪枝後對輕量學生模型性能提升的影響，設計了一組不同通道剪枝比例下的知識蒸餾對比試驗。将YOLOv5-m按照10%~69%比例施加通道剪枝後作為教師網絡，輕量模型YOLOv5-n作為學生網絡進行知識蒸餾，并與同體積的基準算法YOLOv5-n和無剪枝的知識蒸餾檢測效果進行對比。性能統計見表3，每列最優結果用加粗字型表示，下同。
表3 不同剪枝比例的教師網絡對學生網絡性能的提升結果
Tab. 3 Results of teacher networks with different pruning ratios improving student network performance
| 學生網絡 | 教師網絡 | 剪枝比例/(%) | 平均準确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型體積/MB | 推理時間/ms |
|---|---|---|---|---|---|---|---|
| YOLOv5-n | × | × | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
| YOLOv5-n | YOLOv5-m | × | 92.1 | 90.6 | 94.1 | ||
| 10 | 91.6 | 92.5 | 94.7 | ||||
| 20 | 91.4 | 93.8 | 94.6 | ||||
| 30 | 91.9 | 92.9 | 95.0 | ||||
| 40 | 92.0 | 92.6 | 94.9 | ||||
| 50 | 90.2 | 93.6 | 93.8 | ||||
| 60 | 91.1 | 92.6 | 93.9 | ||||
| 69 | 90.9 | 93.4 | 94.1 |
新視窗打開| 下載下傳CSV
由表3可知，在模型體積一緻的情況下，施加了通道剪枝的教師網絡所指導的學生網絡在平均精度上均高于基準算法YOLOv5-n，通道被裁剪10%、20%、30%和40%的教師網絡對學生網絡的蒸餾效果要優于直接蒸餾的結果。其中，經30%剪枝的蒸餾效果最優，相對于原始學生網絡YOLOv5-n的平均精度提升了2.8%，相對于直接蒸餾的平均精度提升了0.9%，證明了本文方法的有效性。但同時也注意到對教師網絡大比例剪枝将不利于學生網絡檢測精度的提高。
2.3.2 通道剪枝比例對教師網絡性能的影響
為進一步探究剪枝後的教師網絡能夠提高學生網絡檢測精度的原因，對不同剪枝比例的教師網絡性能進行了測試。由表4中的試驗結果可以看出，不同剪枝比例的教師網絡在微調訓練後，性能均有不同程度的提升。在剪枝比例較低時(本文試驗中指小于30%，下同)，次要通道被裁減，模型的參數與計算量減少的同時，檢測精度在微調後得到恢複或提升；而繼續進行更高比例的剪枝時，由于部分重要的特征通道被丢棄，模型的平均檢測精度出振蕩現象，穩定性受到了一定程度的影響。
表4 不同剪枝比例對教師網絡性能的優化結果
Tab. 4 Optimization results of different pruning ratios on teacher network performance
| 網絡模型 | 剪枝比例/(%) | 平均準确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型體積/MB | 推理時間/ms |
|---|---|---|---|---|---|---|
| YOLOv5-m(基準) | — | 91.4 | 92.5 | 94.2 | 40.2 | 8.9 |
| 教師網絡A | 10 | 91.1 | 93.9 | 94.3 | 36.2 | 6.9 |
| 教師網絡B | 20 | 91.2 | 94.5 | 94.9 | 31.1 | 6.4 |
| 教師網絡C | 30 | 91.6 | 94.6 | 94.9 | 26.6 | 6.2 |
| 教師網絡D | 40 | 91.0 | 93.7 | 94.5 | 22.6 | 6.0 |
| 教師網絡E | 50 | 92.2 | 94.4 | 95.3 | 19.2 | 5.8 |
| 教師網絡F | 60 | 90.5 | 94.4 | 94.6 | 16.5 | 5.5 |
| 教師網絡G | 69 | 91.0 | 94.9 | 94.7 | 14.8 | 5.5 |
新視窗打開| 下載下傳CSV
如圖6所示，相比于基準模型，經剪枝微調優化後的教師模型的召回率明顯上升，模型在訓練集目标上的特征表達能力得到了進一步提升，但準确率始終在基準值附近呈振蕩狀态。結合表3的知識蒸餾結果，蒸餾後學生網絡的召回率也得到了相應的提高，表明知識蒸餾能夠将優化後的教師網絡攜帶的有用資訊有效傳遞給輕量的學生網絡。
圖6
注：虛線為YOLOv5-m的基準值。圖6 不同剪枝比例對教師網絡性能優化結果的可視化Fig. 6 Visualization of teacher network performance optimization with different pruning ratios
YOLOv5的Head部分包含3個不同尺度的檢測層，用于預測不同尺寸的目标，将不同剪枝比例的教師網絡模型中3個檢測層的輸出進行熱度可視化，如圖7所示。熱度區域的變化證明了經過一定比例的通道剪枝與微調訓練，能顯著提升模型對目标的關注程度，并抑制對背景區域的響應。但剪枝比例過高時産生的資訊丢失和預測異常也反映了過度剪枝将造成網絡性能不穩定。
圖7
圖7 不同剪枝比例下的教師網絡檢測層預測熱度
Fig. 7 Predictive heat for detection layers of teacher networks with different pruning ratios
綜上所述，經過剪枝優化，平均檢測精度有更高提升的教師網絡，并不能保證得到更好的知識蒸餾效果，過度剪枝造成的性能振蕩并不利于模型整體性能的穩健提升。是以，根據本文試驗結果，對教師網絡進行一定比例的通道剪枝有利于提升知識蒸餾效果，其原因在于通過剔除次要通道，凝練了目标特征資訊，在壓縮教師網絡體積的同時，提供了更好遷移的知識，而不是其自身檢測精度最高；在知識蒸餾過程中，這些資訊也能更有效地傳遞給學生網絡，最終實作輕量網絡的檢測精度提升。
2.3.3 典型SAR目标檢測算法性能統計與對比
為評價本文方法在檢測精度、模型體積和檢測效率方面的綜合性能，選擇目前主流的深度學習目标檢測算法YOLOv3、YOLOv7、YOLOX及相應的輕量化模型與本文方法(30%通道剪枝＋知識蒸餾)進行性能對比。其中，YOLOv3、YOLOv7和本文方法是基于錨框的單階段目标檢測方法，YOLOX是無錨框的目标檢測方法。試驗過程中，各方法的參數設定與2.2節中的配置保持一緻。
由表5中的方法性能統計和圖7的可視化結果可以看出，本文方法在模型體積僅3.73 MB，推理時間小于2 ms的條件下，平均精度達到95.0%，相比其他輕量化的目标檢測算法YOLOv3-tiny、YOLOv7-tiny、YOLOX-tiny、YOLOX-nano和YOLOv5-n的平均精度分别高10.9%、5.4%、2%、2.5%和2.8%。在高精度檢測的同時，本文方法在模型體積和推理時間方面也上大幅超越了YOLOv3、YOLOv7和YOLOX-s，綜合性能最優。
表5 不同SAR目标檢測方法性能對比結果
Tab. 5 Results of performance comparison of different SAR target detection algorithms
| 方法 | 平均準确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型體積/MB | 推理時間/ms |
|---|---|---|---|---|---|
| YOLOv3 | 90.8 | 92.0 | 93.2 | 117.00 | 12.8 |
| YOLOv3-tiny | 90.9 | 75.1 | 84.1 | 16.60 | 1.9 |
| YOLOv7 | 93.0 | 93.2 | 94.1 | 71.30 | 11.5 |
| YOLOv7-tiny | 91.1 | 88.6 | 89.6 | 11.70 | 3.4 |
| YOLOX-s | 92.2 | 93.8 | 94.9 | 34.30 | 7.9 |
| YOLOX-tiny | 91.5 | 92.7 | 93.0 | 19.40 | 4.8 |
| YOLOX-nano | 90.7 | 92.1 | 92.5 | 3.60 | 1.5 |
| YOLOv5-n | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
| 本文方法(30%通道剪枝＋知識蒸餾) | 91.9 | 92.9 | 95.0 | 3.73 | 1.7 |
新視窗打開| 下載下傳CSV
圖8
圖8 “平均精度-推理時間-模型體積”可視化對比
Fig. 8 Visual comparison of “mAP-inference time-model size”
2.4 泛化性能測試
為驗證本文方法在大範圍複雜場景SAR圖像中對目标的快速檢測能力，使用在組合資料集上訓練得到的最優模型對海絲一号SAR衛星條帶模式影像中的艦船、油罐和橋梁目标進行檢測。測試圖像經斜地距轉換和濾波處理，生成尺寸大小為10 000×4262像素的8位深度圖像，包含遠海、近岸、城區及港口等多類型場景。在檢測前設定20%重疊度，劃分為525張尺寸為640×640的影像切片。圖9是本文方法在A—F 6個區域的遷移檢測結果，其中正确檢出的艦船、油罐和橋梁目标分别用紅、粉和橙色矩形框表示，藍色框表示漏檢目标，黃色框表示錯檢目标。表6的檢測統計結果表明，與直接知識蒸餾的結果相比，本文方法在整體上的平均F1值達到0.841 3，相比直接蒸餾的方法提高了8.63%。除部分形态模糊的小型油罐、受起重機吊臂影響的靠岸艦船目标，以及長度過短的橋梁目标存在漏檢，其餘目标均能被正确檢出。同時對小型艦船目标也能夠幾乎全部正确檢出，證明模型在具有較強泛化性能的同時也具備了較強的多尺度目标檢測能力，在保證較高的檢測效率與靈活部署能力的同時保證了檢測精度。然而，在背景相對複雜、易受其他目标或地物幹擾的場景中(如D區、F區)，因教師網絡在剪枝優化時會略微丢失一些目标的特征資訊，進而在知識蒸餾過程中無法有效提供相關資訊的遷移，導緻其召回率相對于直接知識蒸餾的方法略有下降，但同時虛警目标得到了抑制，準确率明顯提升，且F1值基本不變，從SAR圖像目标檢測的實際應用角度，本文方法的高準确率具有更重要的現實意義。
圖9
圖9 本文方法在海絲一号SAR影像上的泛化能力測試結果
Fig. 9 The results of the proposed method's generalization test on the HISEA-1 SAR image
表6 各區域泛化測試結果名額統計及方法對比
Tab. 6 Generalization test results statistics and methods comparison in different regions
| 區域 | 場景類型 | 目标類型 | 知識蒸餾方法 | 本文方法 | ||||
|---|---|---|---|---|---|---|---|---|
| 平均準确率/(%) | 平均召回率/(%) | F1值 | 平均準确率/(%) | 平均召回率/(%) | F1值 | |||
| A | 城區 | 橋梁 | 100.00 | 50.00 | 0.666 7 | 100.00 | 62.50 | 0.769 2 |
| B | 碼頭 | 靠岸艦船 | 69.23 | 60.00 | 0.642 9 | 90.91 | 66.67 | 0.769 3 |
| C | 遠海 | 艦船 | 100.00 | 90.91 | 0.952 4 | 100.00 | 100.00 | 1.000 0 |
| D | 突堤式碼頭 | 靠岸艦船、油罐 | 90.99 | 90.18 | 0.905 8 | 95.96 | 84.82 | 0.900 5 |
| E | 遠海 | 艦船 | 100.00 | 50.00 | 0.666 7 | 100.00 | 83.33 | 0.909 1 |
| F | 貨場碼頭 | 靠岸艦船、橋梁 | 72.73 | 66.67 | 0.695 7 | 87.50 | 58.33 | 0.700 0 |
| 平均值 | 88.83 | 67.96 | 0.755 0 | 95.73 | 77.43 | 0.841 3 |
新視窗打開| 下載下傳CSV
3 結束語
本文主要針對現有輕量化SAR目标檢測精度不高的問題，設計了一種通道剪枝和知識蒸餾相結合的輕量化SAR目标檢測方法，在保持學生網絡輕量模型體積不變的同時，利用通道剪枝對教師網絡進行優化，裁剪次要通道，減小了教師網絡和學生網絡之間的容量差異，使教師網絡提供更易遷移和更好被學生網絡接收的知識，提高了檢測精度。在重組的MSAR和SSDD多類目标資料集上進行方法驗證，本文設計的方法在檢測精度均優于同體積的直接知識蒸餾和YOLOv5-n的效果；相對于典型的深度學習目标檢測方法，在檢測精度、模型體積和推理速度上均表現出更優的綜合性能，但是在複雜背景下，部分形态受背景幹擾的目标容易被漏檢，泛化能力有待進一步提升。後續将考慮采用更先進的目标檢測方法，結合中間層知識蒸餾和困難目标挖掘，對複雜背景下的SAR圖像目标檢測方案進行優化，提高輕量化方法在不同場景下的适應性和穩健性。
初審：侯 琳複審：宋啟凡
終審：金 君
資訊