本文内容来源于《测绘学报》2024年第4期（审图号GS京(2024)0714号）
通道剪枝与知识蒸馏相结合的轻量化SAR目标检测
黄启灏
,1, 靳国旺,1, 熊新1, 王丽美2, 李佳豪1
1.信息工程大学地理空间信息学院，河南 郑州 450001
2.河南城建学院测绘与城市空间信息学院，河南 平顶山 467000
基金资助:国家自然科学基金(41474010)
作者简介
第一作者简介:黄启灏（1998—），男，硕士生，研究方向为合成孔径雷达目标检测与识别。E-mail：[email protected]通信作者: 靳国旺 E-mail:[email protected];[email protected]
摘要：轻量化SAR目标检测方法对快速检测SAR影像中的地物目标具有重要意义。针对轻量化检测方法精度不高的问题，设计了一种通道剪枝与知识蒸馏相结合的轻量化SAR目标检测方法。该方法通过对复杂网络中批归一化层的缩放因子γ进行稀疏化训练，判别对应特征通道的重要程度，进而裁剪次要通道，并在微调训练后将其作为教师网络，构造知识蒸馏框架指导轻量模型训练，提高轻量模型的检测精度。采用YOLOv5-6.1算法搭建了检测框架，并在重组的MSAR和SSDD多类目标数据集上进行了训练和检测试验，结果表明该方法能够在保持模型体积仅3.73 MB的轻量化条件下，提升SAR目标检测精度，验证了本文方法的有效性。
关键词： SAR ; 目标检测 ; 轻量化 ; 通道剪枝 ; 知识蒸馏
本文引用格式
黄启灏, 靳国旺, 熊新, 王丽美, 李佳豪. 通道剪枝与知识蒸馏相结合的轻量化SAR目标检测[J]. 测绘学报, 2024, 53(4): 712-723. doi:10.11947/j.AGCS.2024.20220605.
HUANG Qihao. Lightweight SAR target detection based on channel pruning and know-ledge distillation[J]. Acta Geodaetica et Cartographica Sinica, 2024, 53(4): 712-723. doi:10.11947/j.AGCS.2024.20220605.
阅读原文
http://xb.chinasmp.com/article/2024/1001-1595/1001-1595-2024-04-0712.shtml
合成孔径雷达(SAR)是一种主动发射并接收电磁波的微波成像传感器，因具有穿透云雾、雨雪的能力，可全天时、全天候对地观测，在灾害应急救援、空间信息侦察及环境态势感知等领域发挥了巨大作用[1-4]。近年来，随着SAR卫星的相继发射，获取了大量SAR影像数据。但由于SAR独特的成像机理，人工对SAR影像进行目视判读解译需要丰富的经验，且耗时费力。因此，需要研究SAR影像的目标检测技术。传统的SAR目标检测根据任务目标的不同，所采用的算法也有差异。在针对舰船目标时，一般结合船舶尾迹、海面参数特点等进行算法设计，如文献[5]提出的基于双参数模板和尾迹联合检测的方法；针对车辆类目标，通常采用模板匹配和特征提取等方法，如文献[6]提出的基于PCA特征的识别方法。传统的检测方法虽然在速度上有了大幅提升，但精度较低，并且分类器依赖于人工设计。在海量SAR数据的快速获取和实际任务的驱动下，传统的检测方法已不能满足当前SAR目标检测时效性与准确性的需求，国内外众多专家学者将计算机视觉和深度学习方法引入该领域[7-9]，其中最具代表性的是卷积神经网络(convolutional neural network，CNN)，通过学习目标纹理和轮廓浅层特征，以及目标深层抽象语义信息[10]实现端到端的目标检测任务，相比于传统方法更适用于复杂场景下的检测任务，逐渐成为现阶段SAR目标检测的主流方法[11]。然而，现阶段基于深度学习的目标检测算法通常需要强大的算力支持，在实际的SAR目标检测应用中，方法往往需要满足体积小、易移植、高精度且高效率的要求。因此轻量化的SAR目标检测方法成为了当前研究的重点，研究人员主要从网络剪枝[12]、知识蒸馏[13]及网络结构修改等方面进行了轻量化改进。在网络剪枝方面，文献[14-15]都将通道剪枝[16]引入了SAR目标检测网络，有效减少了模型的参数量、计算量及推理时间，但是牺牲了检测精度。文献[17]在特征提取网络和特征融合网络轻量化的基础上，采用基于几何中值的剪枝算法对网络进一步压缩，加快了模型的推理速度。在知识蒸馏方面，文献[18]将MobileNetV2[19]作为SSD[20]检测算法的特征提取网络以实现轻量化改进，并将其作为学生网络，同时利用知识蒸馏提高轻量网络的性能，但与源网络模型的检测精度仍有一定差距。文献[21]设计的结合特征图与检测头分支知识蒸馏的轻量化任意方向SAR舰船检测器，将像素点间的相似度构建为热度图蒸馏知识，在减少模型参数量条件下，提高了检测精度和速度。文献[22]从SAR图像的前景和背景关系建模，通过对解耦特征的拓扑距离进行知识蒸馏，增强学生网络学习前景和背景之间的关系以及对背景噪声的稳健性。文献[23]则从不同轻量化方法结合的角度探究了知识蒸馏前对教师网络进行非结构稀疏化的有效性。上述方法中，网络剪枝和知识蒸馏分别从复杂模型压缩和轻量模型性能提升方面进行优化，文献[23-24]将上述两种方法的优势结合，利用网络剪枝构造轻量化的网络模型，再通过知识蒸馏提高剪枝后的轻量化网络模型的检测精度。文献[25]则通过注意力机制针对性地裁剪网络中的次要通道，再利用桥连接的知识蒸馏方法恢复网络性能。但是在实际应用中，网络剪枝的压缩往往需要以牺牲检测精度为代价，且过度剪枝会造成模型精度严重下降，无法完全满足轻量化且高精度的SAR目标检测需求；知识蒸馏虽然在一定程度上可以提高轻量模型的检测精度，但是在模型容量差异过大的情况下，学生网络难以充分学习教师网络的复杂知识，导致精度提升的效果受限。针对上述问题，本文设计一种利用通道剪枝的方式压缩教师网络体积并优化携带知识，再通过知识蒸馏指导学生网络训练的轻量化SAR目标检测方法，在当前被广泛应用的先进目标检测方法YOLOv5上搭建检测框架，在重组的MSAR和SSDD多类目标数据集上进行的试验验证了该方法的有效性。
1 通道剪枝与知识蒸馏相结合的轻量化SAR目标检测方法
本文设计的通道剪枝与知识蒸馏相结合的轻量化SAR目标检测框架如图1所示，由通道剪枝模块、知识蒸馏模块和SAR目标检测模块组成。
图1
图1 通道剪枝与知识蒸馏相结合的轻量化SAR目标检测框架
Fig. 1 Lightweight SAR target detection framework based on channel pruning and knowledge distillation
通道剪枝模块将复杂模型在SAR影像数据集上进行稀疏化训练，判别模型中各通道的重要程度并裁剪次要通道，经过微调训练得到剪枝优化后的复杂模型。知识蒸馏模块将剪枝优化后的复杂模型作为教师网络，指导轻量的学生网络进行训练，并在教师网络和学生网络的输出上构建L2蒸馏损失，使模型参数不断更新，得到轻量化的SAR目标检测权重模型。最后在SAR目标检测模块下使用轻量的检测权重模型实现对SAR影像中目标的稳健检测。
1.1 通道剪枝模块
通道剪枝模块由稀疏化训练、通道剪枝和微调训练3个步骤组成。在复杂模型的训练过程中，利用L1正则化对批归一化(batch normalization，BN)层中的缩放因子γ进行稀疏化，判别和裁剪对应的次要特征通道，并在压缩复杂模型体积的同时，利用微调训练优化模型中的特征信息。
1.1.1 稀疏化训练
稀疏化训练的目的是判别卷积层特征图中各通道的重要程度，向通道剪枝提供参考指标。为避免引入额外的计算开销，对BN层中的缩放因子γ进行稀疏化处理作为判断通道重要性的依据。令前一层的输出为x1，x2，…，xm，m为训练样本批处理数，μB和σB为每一批次数据的均值和方差，ε为用于防止计算时分母为0的正则化参数，归一化输出为
(1)
为提高模型的非线性特征提取能力和整体的表达能力，通过可学习的缩放因子γ和平移因子β对数据分布进行重构，yi为重构结果
(2)
采用L1正则化的方式，对卷积层中各通道所对应γ值的集合Γ进行稀疏化表达。稀疏化后，γ值趋于0的特征通道即为次要通道。将Γ的正则化式引入网络损失函数L
(3)式中，l(f(x，W)，y)为原卷积神经网络的损失函数；(x，y)为训练的输入和目标；W为可训练的权重；λ为平衡因子；g(γ)是对缩放因子的稀疏惩罚项，即
。
对式(3)求关于γ的偏导数可知，偏导数在γ＝0处不连续，若左右偏导数异号，则损失函数L在此处存在极小值点。在次梯度下降的优化过程中，将使部分γ不断朝0靠近，集合Γ变得稀疏
(4)
1.1.2 通道剪枝
基于稀疏化训练后的缩放因子γ，将其与卷积层特征图中对应的通道相连接，并取绝对值排序。通过设置剪枝比例确定剪枝阈值S，若特征通道对应的γ小于阈值S，则将其判定为次要通道并施加裁剪。但为了保证网络结构的完整性，阈值应不大于任何BN层中最大的γ值，以确保与主干网络维度的匹配。同时，对于网络中带有残差连接的结构不进行剪枝，保证直径连接和残差层特征图的维度一致。通道剪枝的过程如图2所示。在原始网络的第i个卷积层特征图中，令每个通道分别连接一个稀疏化后的缩放因子γ，图中特征通道Ci2和Ci4对应的γ值小于阈值，对于网络整体性能的贡献相对较小，因此，将其对应的上一层卷积核及特征通道进行裁剪，达到压缩模型体积的目标。
图2
图2 通道剪枝过程
Fig. 2 The process of channel pruning
1.1.3 微调训练
对复杂模型的次要通道进行剪枝之后，为了减小特征通道缺失对检测精度造成的影响，利用剪枝后的网络模型初始化权重进行微调训练，恢复剪枝后模型的检测精度，为下一步提升轻量化模型的检测精度奠定基础。
1.2 知识蒸馏模块
在知识蒸馏模块中，将通道剪枝模块输出的剪枝优化后的复杂模型作为教师网络，轻量模型作为学生网络，分别构造“学生网络预测-教师网络预测”和“学生网络预测-真值标签”之间的损失函数，再以两者加权和作为总损失用于更新模型参数，提高轻量学生网络的检测精度和对目标响应的稳健性。
1.2.1 知识蒸馏网络架构
为在知识蒸馏中实现教师网络泛化能力向学生网络的迁移，需要网络全面地学习正负样本的特征。网络中的Softmax函数可以把神经元的输出映射至(0，1)区间内，相当于输出预测类别的概率；但是当Softmax输出的概率分布较小时，负标签的值将趋近于0，在计算损失函数时的贡献将被削弱。因此采用在Softmax函数中添加温度变量τ来放大负标签携带的信息，使学生网络更好地学习不同目标的类间差异，提高检测精度
(5)
(6)
式中，yi为前一神经元的输出；
和y″ 分别为添加温度变量τ前后的Softmax函数输出。
知识蒸馏的结构如图3所示。教师网络的Softmax输出经过升温得到的预测结果称为软标签，学生网络的Softmax输出根据是否经过升温，得到的预测结果分别称为软预测和硬预测，结合硬标签的真实标注信息分别构造蒸馏损失Ldistill和学生损失Lstudent，并以加权和的形式构造总体损失L，用于更新参数得到目标检测权重模型。
图3
图3 知识蒸馏结构
Fig. 3 Structure of knowledge distillation
1.2.2 知识蒸馏损失函数构造
在原始的网络中，损失函数由目标损失fobj、分类损失fcl和边界框损失fbb 3部分构成，通过不断的迭代训练，使损失值逐渐减小并收敛，模型预测值不断逼近真实值
(7)
式中，
、
、
为模型预测的目标、类别概率和边界框；
、
、
为对应的真实值。
由于目标损失是判断背景与目标的主要依据，也是进一步学习目标类型和位置回归的先决条件。首先需要对目标损失函数进行修改。利用软化后的教师网络预测和真实标签，同时指导学生网络对目标特征的学习。修改后的目标损失函数
(8)
式中，
为修改后的目标损失函数；
、
、
分别目标真实值、学生网络的预测值和教师网络的预测值；
和
分别为学生网络目标损失和蒸馏目标损失；λD为平衡系数。
由于YOLOv5在对目标类型预测的同时也对边界框进行预测，标准的知识蒸馏将会使教师网络对背景框的预测也转移给学生网络，从而影响学生网络对目标框的预测。因此，为确保只有在教师网络对目标预测值较高的情况下，学生网络才去学习其类别概率和边界框信息，在分类和边界框损失函数的蒸馏损失中引入了与更新后教师网络目标预测值
的乘积。若预测框中的对象是背景，
的值将会很低，使得蒸馏损失趋近于0，可有效防止学生网络错误地学习背景信息。修改后的类别损失函数为
(9)
式中，
为修改后的类别损失函数；
为学生网络分类损失；
为蒸馏分类损失；
、
和
分别为目标概率的真实值、学生网络的预测值和教师网络的预测值；λD为平衡系数；
为更新后的教师网络目标预测值。
同理，边界框损失函数具有类似的表达为
(10)
式中，
为修改后的边界框损失函数；
为学生网络边界框损失；
为蒸馏边界框损失；
、
和
分别为目标边界框的真实值、学生网络的预测值和教师网络的预测值；λD为平衡系数；
为更新后的教师网络目标预测值。
最后，网络中用于更新模型参数的总体蒸馏损失L为式(8)—式(10)之和
(11)
1.3 SAR目标检测模块
在配置正确的环境和变量下，将待检测SAR影像输入SAR目标检测模块中，利用知识蒸馏模块输出的轻量化SAR目标检测权重模型和前向传播算法，回归得到待检测影像中的目标类型和位置信息，最终实现高精度的轻量化的SAR目标的检测与定位。综上所述，本文设计的通道剪枝与知识蒸馏相结合的轻量化SAR目标检测方法主要从教师网络特征精炼，正则化和暗知识学习3方面提升轻量学生网络的检测效果。①通道剪枝剔除了教师网络的次要通道，实现了特征精炼，从而在知识蒸馏过程中能够更准确地为学生网络输送重要的特征知识，提升学生网络性能；②通道剪枝使得教师网络的参数减少，复杂度降低，因此可被视为一种降低过拟合风险的正则化方式，剪枝优化后的教师网络通常能更好地泛化到新的数据上，在知识蒸馏过程中，学生网络也将更倾向于学习到更具泛化能力的模式和知识；③知识蒸馏中的关键之一在于“类间相互关系”“样本相似性”等暗知识的学习与传递，剪枝优化后的教师网络更有可能关注到目标的重要特征，提高其预测信息的质量，传递给学生网络的暗知识也更具有指导性和丰富性。图4展示了不同软化程度的标签在置信度方面的信息表达。其中，二值的硬标签只能说明是目标与否，信息过于单一。软化后的标签则能在一定程度上使类间相对概率更平滑，有助于网络挖掘用于区别不同类目标的深层特征。而经过通道剪枝后的软标签则提供了更平滑的信息分布，不同目标的类间差异被进一步放大，暗知识更加丰富，使学生网络更容易理解检测任务和模仿教师网络的决策过程，同时增强其对不确定性目标的建模能力。
图4
图4 不同程度软化的标签的信息表达
Fig. 4 Information expression of labels with different softening degrees
2 试验验证
2.1 试验环境和SAR影像数据集
本文试验环境为Windows 10操作系统和Pytorch深度学习框架，计算机配置为Intel Xeon Gold 6230，2.10 GHz；128 GB内存，两块NVIDIA GeForce RTX 2080Ti显卡，22 GB显存。为验证本文设计的轻量化SAR目标检测方法在多目标类型条件下的适用性，将MSAR数据集[26-27]中的油罐、桥梁目标和SSDD数据集[28]中的舰船目标进行组合，构建试验数据集。MSAR数据集中包含1250张油罐目标图像和1582张桥梁目标图像，SSDD数据集中包含1160张舰船目标图像(图5)。各类目标均以8∶2划分为训练集和验证集，其中SSDD舰船数据集的划分采用文献[28]的划分规范，详见表1。
图5
图5 数据集中目标类型
Fig. 5 The target types in the datasets
表1 试验数据集数量分布
Tab. 1 Number distribution of experimental datasets
| 目标类型 | 数据集 | 训练集/张 | 验证集/张 | 平均目标数/(个/张) |
|---|---|---|---|---|
| 油罐 | MSAR | 1000 | 250 | 9.86 |
| 桥梁 | MSAR | 1266 | 316 | 1.17 |
| 舰船 | SSDD | 812 | 232 | 2.12 |
新窗口打开| 下载CSV
试验按照计目标检测中常用的方法评价指标来验证方法的有效性，其中包括：召回率R、准确率P、平均精度mAP、F1值、模型大小、推理时间
(12)
(13)
(14)
(15)
式中，TP为正确检测出的目标数；FN为漏检目标数；FP为错检目标数；n为目标类别数；P(R)为准确率和召回率的曲线；平均精度mAP的值越大表明模型性能越好。
2.2 参数设置与模型优选
为确定最优的教师网络和学生网络，首先利用YOLOv5中5种不同大小的网络在数据集上分别进行训练。参数设置：epochs为300；初始学习率为0.01；IoU阈值为0.5；Batch Size为16；输入图像尺寸为640×640；优化器采用SGD。在通道剪枝与知识蒸馏过程中，稀疏化训练参数sr为5×10－4；知识蒸馏温度变量τ为20，知识蒸馏损失函数为L2蒸馏损失；平衡因子α为0.5。经训练后，不同大小的网络模型在验证集上的性能见表2。
表2 不同大小的网络模型训练结果
Tab. 2 Training results of network models of different sizes
| 网络模型 | 平均准确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型体积/MB | 平均推理时间/ms |
|---|---|---|---|---|---|
| YOLOv5-x | 90.9 | 93.6 | 93.9 | 165.00 | 23.9 |
| YOLOv5-l | 90.9 | 90.9 | 93.1 | 88.50 | 14.4 |
| YOLOv5-m | 91.4 | 92.5 | 94.2 | 40.20 | 8.9 |
| YOLOv5-s | 91.3 | 93.3 | 94.0 | 13.70 | 3.6 |
| YOLOv5-n | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
新窗口打开| 下载CSV
由于数据集的数量有限，过大的模型容易导致过拟合，造成平均精度的下降。因此本文选择具有最高检测精度的中等体积网络YOLOv5-m作为基准教师网络。而YOLOv5-n的大小仅有3.73 MB，适合作为学生网络。
2.3 试验结果与分析
2.3.1 不同通道剪枝比例下的知识蒸馏对比试验
为验证本文方法的有效性和教师网络经不同比例剪枝后对轻量学生模型性能提升的影响，设计了一组不同通道剪枝比例下的知识蒸馏对比试验。将YOLOv5-m按照10%~69%比例施加通道剪枝后作为教师网络，轻量模型YOLOv5-n作为学生网络进行知识蒸馏，并与同体积的基准算法YOLOv5-n和无剪枝的知识蒸馏检测效果进行对比。性能统计见表3，每列最优结果用加粗字体表示，下同。
表3 不同剪枝比例的教师网络对学生网络性能的提升结果
Tab. 3 Results of teacher networks with different pruning ratios improving student network performance
| 学生网络 | 教师网络 | 剪枝比例/(%) | 平均准确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型体积/MB | 推理时间/ms |
|---|---|---|---|---|---|---|---|
| YOLOv5-n | × | × | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
| YOLOv5-n | YOLOv5-m | × | 92.1 | 90.6 | 94.1 | ||
| 10 | 91.6 | 92.5 | 94.7 | ||||
| 20 | 91.4 | 93.8 | 94.6 | ||||
| 30 | 91.9 | 92.9 | 95.0 | ||||
| 40 | 92.0 | 92.6 | 94.9 | ||||
| 50 | 90.2 | 93.6 | 93.8 | ||||
| 60 | 91.1 | 92.6 | 93.9 | ||||
| 69 | 90.9 | 93.4 | 94.1 |
新窗口打开| 下载CSV
由表3可知，在模型体积一致的情况下，施加了通道剪枝的教师网络所指导的学生网络在平均精度上均高于基准算法YOLOv5-n，通道被裁剪10%、20%、30%和40%的教师网络对学生网络的蒸馏效果要优于直接蒸馏的结果。其中，经30%剪枝的蒸馏效果最优，相对于原始学生网络YOLOv5-n的平均精度提升了2.8%，相对于直接蒸馏的平均精度提升了0.9%，证明了本文方法的有效性。但同时也注意到对教师网络大比例剪枝将不利于学生网络检测精度的提高。
2.3.2 通道剪枝比例对教师网络性能的影响
为进一步探究剪枝后的教师网络能够提高学生网络检测精度的原因，对不同剪枝比例的教师网络性能进行了测试。由表4中的试验结果可以看出，不同剪枝比例的教师网络在微调训练后，性能均有不同程度的提升。在剪枝比例较低时(本文试验中指小于30%，下同)，次要通道被裁减，模型的参数与计算量减少的同时，检测精度在微调后得到恢复或提升；而继续进行更高比例的剪枝时，由于部分重要的特征通道被丢弃，模型的平均检测精度出振荡现象，稳定性受到了一定程度的影响。
表4 不同剪枝比例对教师网络性能的优化结果
Tab. 4 Optimization results of different pruning ratios on teacher network performance
| 网络模型 | 剪枝比例/(%) | 平均准确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型体积/MB | 推理时间/ms |
|---|---|---|---|---|---|---|
| YOLOv5-m(基准) | — | 91.4 | 92.5 | 94.2 | 40.2 | 8.9 |
| 教师网络A | 10 | 91.1 | 93.9 | 94.3 | 36.2 | 6.9 |
| 教师网络B | 20 | 91.2 | 94.5 | 94.9 | 31.1 | 6.4 |
| 教师网络C | 30 | 91.6 | 94.6 | 94.9 | 26.6 | 6.2 |
| 教师网络D | 40 | 91.0 | 93.7 | 94.5 | 22.6 | 6.0 |
| 教师网络E | 50 | 92.2 | 94.4 | 95.3 | 19.2 | 5.8 |
| 教师网络F | 60 | 90.5 | 94.4 | 94.6 | 16.5 | 5.5 |
| 教师网络G | 69 | 91.0 | 94.9 | 94.7 | 14.8 | 5.5 |
新窗口打开| 下载CSV
如图6所示，相比于基准模型，经剪枝微调优化后的教师模型的召回率明显上升，模型在训练集目标上的特征表达能力得到了进一步提升，但准确率始终在基准值附近呈振荡状态。结合表3的知识蒸馏结果，蒸馏后学生网络的召回率也得到了相应的提高，表明知识蒸馏能够将优化后的教师网络携带的有用信息有效传递给轻量的学生网络。
图6
注：虚线为YOLOv5-m的基准值。图6 不同剪枝比例对教师网络性能优化结果的可视化Fig. 6 Visualization of teacher network performance optimization with different pruning ratios
YOLOv5的Head部分包含3个不同尺度的检测层，用于预测不同尺寸的目标，将不同剪枝比例的教师网络模型中3个检测层的输出进行热度可视化，如图7所示。热度区域的变化证明了经过一定比例的通道剪枝与微调训练，能显著提升模型对目标的关注程度，并抑制对背景区域的响应。但剪枝比例过高时产生的信息丢失和预测异常也反映了过度剪枝将造成网络性能不稳定。
图7
图7 不同剪枝比例下的教师网络检测层预测热度
Fig. 7 Predictive heat for detection layers of teacher networks with different pruning ratios
综上所述，经过剪枝优化，平均检测精度有更高提升的教师网络，并不能保证得到更好的知识蒸馏效果，过度剪枝造成的性能振荡并不利于模型整体性能的稳健提升。因此，根据本文试验结果，对教师网络进行一定比例的通道剪枝有利于提升知识蒸馏效果，其原因在于通过剔除次要通道，凝练了目标特征信息，在压缩教师网络体积的同时，提供了更好迁移的知识，而不是其自身检测精度最高；在知识蒸馏过程中，这些信息也能更有效地传递给学生网络，最终实现轻量网络的检测精度提升。
2.3.3 典型SAR目标检测算法性能统计与对比
为评价本文方法在检测精度、模型体积和检测效率方面的综合性能，选择当前主流的深度学习目标检测算法YOLOv3、YOLOv7、YOLOX及相应的轻量化模型与本文方法(30%通道剪枝＋知识蒸馏)进行性能对比。其中，YOLOv3、YOLOv7和本文方法是基于锚框的单阶段目标检测方法，YOLOX是无锚框的目标检测方法。试验过程中，各方法的参数设定与2.2节中的配置保持一致。
由表5中的方法性能统计和图7的可视化结果可以看出，本文方法在模型体积仅3.73 MB，推理时间小于2 ms的条件下，平均精度达到95.0%，相比其他轻量化的目标检测算法YOLOv3-tiny、YOLOv7-tiny、YOLOX-tiny、YOLOX-nano和YOLOv5-n的平均精度分别高10.9%、5.4%、2%、2.5%和2.8%。在高精度检测的同时，本文方法在模型体积和推理时间方面也上大幅超越了YOLOv3、YOLOv7和YOLOX-s，综合性能最优。
表5 不同SAR目标检测方法性能对比结果
Tab. 5 Results of performance comparison of different SAR target detection algorithms
| 方法 | 平均准确率/(%) | 平均召回率/(%) | 平均精度/(%) | 模型体积/MB | 推理时间/ms |
|---|---|---|---|---|---|
| YOLOv3 | 90.8 | 92.0 | 93.2 | 117.00 | 12.8 |
| YOLOv3-tiny | 90.9 | 75.1 | 84.1 | 16.60 | 1.9 |
| YOLOv7 | 93.0 | 93.2 | 94.1 | 71.30 | 11.5 |
| YOLOv7-tiny | 91.1 | 88.6 | 89.6 | 11.70 | 3.4 |
| YOLOX-s | 92.2 | 93.8 | 94.9 | 34.30 | 7.9 |
| YOLOX-tiny | 91.5 | 92.7 | 93.0 | 19.40 | 4.8 |
| YOLOX-nano | 90.7 | 92.1 | 92.5 | 3.60 | 1.5 |
| YOLOv5-n | 91.4 | 91.6 | 92.2 | 3.73 | 1.7 |
| 本文方法(30%通道剪枝＋知识蒸馏) | 91.9 | 92.9 | 95.0 | 3.73 | 1.7 |
新窗口打开| 下载CSV
图8
图8 “平均精度-推理时间-模型体积”可视化对比
Fig. 8 Visual comparison of “mAP-inference time-model size”
2.4 泛化性能测试
为验证本文方法在大范围复杂场景SAR图像中对目标的快速检测能力，使用在组合数据集上训练得到的最优模型对海丝一号SAR卫星条带模式影像中的舰船、油罐和桥梁目标进行检测。测试图像经斜地距转换和滤波处理，生成尺寸大小为10 000×4262像素的8位深度图像，包含远海、近岸、城区及港口等多类型场景。在检测前设定20%重叠度，划分为525张尺寸为640×640的影像切片。图9是本文方法在A—F 6个区域的迁移检测结果，其中正确检出的舰船、油罐和桥梁目标分别用红、粉和橙色矩形框表示，蓝色框表示漏检目标，黄色框表示错检目标。表6的检测统计结果表明，与直接知识蒸馏的结果相比，本文方法在整体上的平均F1值达到0.841 3，相比直接蒸馏的方法提高了8.63%。除部分形态模糊的小型油罐、受起重机吊臂影响的靠岸舰船目标，以及长度过短的桥梁目标存在漏检，其余目标均能被正确检出。同时对小型舰船目标也能够几乎全部正确检出，证明模型在具有较强泛化性能的同时也具备了较强的多尺度目标检测能力，在保证较高的检测效率与灵活部署能力的同时保证了检测精度。然而，在背景相对复杂、易受其他目标或地物干扰的场景中(如D区、F区)，因教师网络在剪枝优化时会略微丢失一些目标的特征信息，进而在知识蒸馏过程中无法有效提供相关信息的迁移，导致其召回率相对于直接知识蒸馏的方法略有下降，但同时虚警目标得到了抑制，准确率明显提升，且F1值基本不变，从SAR图像目标检测的实际应用角度，本文方法的高准确率具有更重要的现实意义。
图9
图9 本文方法在海丝一号SAR影像上的泛化能力测试结果
Fig. 9 The results of the proposed method's generalization test on the HISEA-1 SAR image
表6 各区域泛化测试结果指标统计及方法对比
Tab. 6 Generalization test results statistics and methods comparison in different regions
| 区域 | 场景类型 | 目标类型 | 知识蒸馏方法 | 本文方法 | ||||
|---|---|---|---|---|---|---|---|---|
| 平均准确率/(%) | 平均召回率/(%) | F1值 | 平均准确率/(%) | 平均召回率/(%) | F1值 | |||
| A | 城区 | 桥梁 | 100.00 | 50.00 | 0.666 7 | 100.00 | 62.50 | 0.769 2 |
| B | 码头 | 靠岸舰船 | 69.23 | 60.00 | 0.642 9 | 90.91 | 66.67 | 0.769 3 |
| C | 远海 | 舰船 | 100.00 | 90.91 | 0.952 4 | 100.00 | 100.00 | 1.000 0 |
| D | 突堤式码头 | 靠岸舰船、油罐 | 90.99 | 90.18 | 0.905 8 | 95.96 | 84.82 | 0.900 5 |
| E | 远海 | 舰船 | 100.00 | 50.00 | 0.666 7 | 100.00 | 83.33 | 0.909 1 |
| F | 货场码头 | 靠岸舰船、桥梁 | 72.73 | 66.67 | 0.695 7 | 87.50 | 58.33 | 0.700 0 |
| 平均值 | 88.83 | 67.96 | 0.755 0 | 95.73 | 77.43 | 0.841 3 |
新窗口打开| 下载CSV
3 结束语
本文主要针对现有轻量化SAR目标检测精度不高的问题，设计了一种通道剪枝和知识蒸馏相结合的轻量化SAR目标检测方法，在保持学生网络轻量模型体积不变的同时，利用通道剪枝对教师网络进行优化，裁剪次要通道，减小了教师网络和学生网络之间的容量差异，使教师网络提供更易迁移和更好被学生网络接收的知识，提高了检测精度。在重组的MSAR和SSDD多类目标数据集上进行方法验证，本文设计的方法在检测精度均优于同体积的直接知识蒸馏和YOLOv5-n的效果；相对于典型的深度学习目标检测方法，在检测精度、模型体积和推理速度上均表现出更优的综合性能，但是在复杂背景下，部分形态受背景干扰的目标容易被漏检，泛化能力有待进一步提升。后续将考虑采用更先进的目标检测方法，结合中间层知识蒸馏和困难目标挖掘，对复杂背景下的SAR图像目标检测方案进行优化，提高轻量化方法在不同场景下的适应性和稳健性。
初审：侯 琳复审：宋启凡
终审：金 君
资讯