天天看点

基于数据集细分及波段筛选的船只检测方法研究

作者:古凌

随着大陆经济的飞速发展,海洋的资源开发与权益维护日益迫切,旅游观光、能源运输、贸易进出口等对于海上运输的依赖与日俱增。

船只是海上活动的重要目标也是海上作战与海上经济建设的主体。船只的正确检测有助于实现船只状态监测以及分析,监控和打击渔船非法捕捞,是船只作业风险防控的基础,同时能够为海上资源调配以及贸易货物等活动提供有力的技术支撑,极具理论意义和实用价值。

船只目标检测大量数据主要来源于遥感技术、SAR技术、红外遥感技术无人机遥感技术、光学卫星成像技术等。

基于数据集细分及波段筛选的船只检测方法研究

红外、SAR技术能够实现在极端气候条件下对船只进行监控。可见光遥感影像提供了更丰富的船只图像信息。无人机遥感成本较低、实时性强且灵活机动,具有作业周期短等特征。

同时,各类遥感技术也存在一些不足。

卫星遥感图像分辨率较低且实时性较差,孔径合成雷达光谱信息不足,清晰度不高,与人类视觉存在差异。红外成像技术成像效果容易受距离影响;无人机成像技术容易受到天气、航程等影响但可以提供大量的细节且图像分辨率较高。

基于数据集细分及波段筛选的船只检测方法研究

船只目标检测基本原理

相较于传统船只检测方法,深度学习方法具有速度快、时效性强等优点。基于深度学习的船只识别技术主要以卷积神经网络为主,该网络现已开发出多种成熟的目标检测模型。

卷积神经网络(CNN)是包含了卷积计算并且具有深度结构的前馈神经网络。该网络具有较好的表征学习能力,所以在目标检测、图片分类、目标分割、目标跟踪等相关计算机视觉领域应用广泛且具有良好的表现。

包括输入层(Input Layer)、卷积层(Convolutional Layer)、池化层(Pooling Layer)、全连接层 (Fully Connected Layer) 以及输出层(OutputLayer) (图3)。

基于数据集细分及波段筛选的船只检测方法研究

网络数据输入层的主要功能是对输入的原始图像进行预处理操作卷积层是最核心的部分,此层起到提取目标特征的用途。

卷积运算的本质便是离散二维滤波器(也叫卷积核)在图像上滑动,历遍图中每一个像素点,并与对应点及其领域内的点做累积的过程。

在运算中需要用到以下参数,K(深度),即输出的深度与卷积核数量一致;S(步长),即滑动窗口每次移动的像素值般为1或2;零填充,即用0对输入数据进行边缘填充,图片高度;W:图片宽度;D:原始通道数,也是卷积核的个数;F:卷积核高宽大小(图4、图5)。

基于数据集细分及波段筛选的船只检测方法研究

图2中,输入图像大小为4X4,卷积核大小3X3,步长1,输出特征图大小2X2。经卷积运算后,输出特征图变小。

对原图边缘进行零填充(图4),其他条件保持不变,输出特征图大小为4X4,与原图一致,且所提取特征得以保留,这就是填充的作用。经卷积运算后,每层卷积产生参数大小为 D*F*F*K。

由此可知,在卷积运算过程中,有多个卷积核参与运算,从而会产生多个特征图池化层(下采样层)的作用主要为压缩特征图维度并且保持网络空间不变形相当于对图像进行resize操作,即过滤掉一些对目标检测影响较小的信息,有效减少了计算量。

基于数据集细分及波段筛选的船只检测方法研究

最大池化、平均池化以及随机池化为比较常见的池化方法。

最大池化是对区域内的最大值进行选取;平均池化即对区域内进行平均值选取;随机池化即对区域内进行随机值选取。相较于随机池化,最大池化与平均池化更为常用(图6、图7)。

基于数据集细分及波段筛选的船只检测方法研究
基于数据集细分及波段筛选的船只检测方法研究

全连接层将卷积层和池化层提取的特征进行整合并输送到检测器,一般在网络的后几层,每个神经网络根据任务不同有一个或几个全连接层,以最后一个全连接层输出的特征来作为分类的依据。一般输出为一组一维向量。

常用的分类器有Softmax 函数和SVM(支持向量机),相较于SVM,Softmax函数具有多分类的功能,同时分类效果也比较好,所以通常情况下Softmax函数作为最常用的分类器(式1)。

基于数据集细分及波段筛选的船只检测方法研究

式中,N代表类别数,S为输出矩阵,aj表示a类别中第j个元素,1XN代表维度,表示网络输出N个类别的概率。

Softmax Loss的计算公式如下(式2):

基于数据集细分及波段筛选的船只检测方法研究

式中,yj表示此次检测是否为第j个类的真实值。若非真实类别则yj取0。卷积神经网络中在卷积层之后要引入非线性元素,即激活函数。该函数的主要作用就是防止出现梯度爆炸的现象发生。

目前使用最广泛的就是ReLU激活函数,其计算原理是保留响应大于零的结果,而小于零的结果则全部记为零(式3)。

基于数据集细分及波段筛选的船只检测方法研究

该函数增大了矩阵的稀疏性,从而使得生成的模型也具有更好的泛化能力。

同时,ReLU激活函数在训练过程中的梯度变化稳定,不随输入幅度的变化而变化,避免了sigmod等函数中出现的“梯度消失”的问题(图8)。

基于数据集细分及波段筛选的船只检测方法研究

典型分类卷积神经网络模型

常用模型有AlexNetls、VGGNet、GoogleNet、ResNet。这四种模型都是挑战ImagNet而产生的。

AlexNet由Alex Krizhevsky 在2012年首次提出,并在ImagNet大赛中一举夺魁。该模型由5 个卷积层和3个全连接层组成,前两层卷积层卷积核大小分别为11X11、5X5,对应步长分别为4、1。后三层卷积层均使用3X3的卷积核,步长为1。网络结构如下(图9)。

基于数据集细分及波段筛选的船只检测方法研究

该模型具有以下特点:

一是首次使用ReLU函数,避免了其他函数出现的梯度消失的问题;

二是对数据进行增强,并首次引入dropout层,有效避免模型过拟合的同时增强了模型的泛化能力。

VGGNet在2014年由牛津大学著名研究组VGG (Visual Geometry Group)提出,并在ImagNet 大赛中分别获定位任务第一名和分类任务第二名。

以VGG16为例,该网络除池化层与Softmax层外一共16层,卷积核均为3X3大小,池化层采用最大池化法,池化核大小为2X2,步长为2。该模型网络结构如图(图10、图11)。

基于数据集细分及波段筛选的船只检测方法研究

该模型的特点如下:

一是相较于AlexNet,该模型网络层数由8层增加到了16层,使得提取的特征信息更加丰富;

二是使用3X3小卷积核很好的缩减了参数量,提高了模型训练效率;

三是池化核变小且为偶数,减小了信息损失。

基于数据集细分及波段筛选的船只检测方法研究

该模型采用了9个模块化的结构,共22层,方便学者的添加和修改且参数量仅为AlexNet模型的一半。

增加了2个辅助的分类器有效避免了深层网络梯度消失现象发生;增加了多种卷积核;移除了全连接层使用平均池化层来代替,最后增加一个全连接层方便后续的模型迁移。

通过上述一系列操作,该模型有效避免了网络越深参数越多梯度易消失的问题。该模型结构如图12 所示。

基于数据集细分及波段筛选的船只检测方法研究

VGGNet与GoogleNet模型显示出,网络深度越深则模型表现越好,但在实践过程中发现,在网络达到一定深度后,更深的网络中梯度消失现象就越明显,出现更高的训练误差从而导致训练和测试的效果变差。

ResNet很好的解决了这一问题,其核心便是残差网络(图13)。

由图可知,网络中加入 identity mapping,很好的解决了梯度消失的现象上述卷积神经网络模型各有千秋,GoogleNet、ResNet是深层复杂的卷积神经网络。

基于数据集细分及波段筛选的船只检测方法研究

但针对少量数据的数据集,使用深层复杂的神经网络会产生大量的参数以及数据,极易出现模型容量过剩的情况,从而导致模型过拟合的现象发生。

相较于AlexNet,VGGNet用多层小卷积核代替了AlexNet中大卷积核,加强了网络局部特征提取能力。

基于SSD算法船只检测的理论基础

二阶段算法虽然检测精度越来越高,但是检测速度提升起来比较困难,因此在部分场景上的实时性表现差强人意。

一阶段算法在保证一定准确率的基础上,检测速度较快。且本文船只样本数据量相对较少。由上文可知,少量样本时VGGNet模型检测效果相对较好,该算法以截断的VGG-16网络为基础骨于网络,同时该算法为一阶段目标检测应用最广泛的算法。

SSD算法是基于前馈卷积网络,产生固定大小的预选框集合,且为预选框中对象类实例进行评分,并利用非极大抑制生成最终检测结果的一种深度学习算法。算法结构如图14所示。

基于数据集细分及波段筛选的船只检测方法研究

SSD算法对传统VGG-16网络进行了改造,删除了VGG-16网络最后的池化层和全连接层,并且用2个卷积层conv3-1024以及conv1-1024来替代,使得特征图通道由512变为1024并保持不变。

在网络后加入extra layers,该部分共包含8个卷积层,此操作使得原网络最后输出的 19X19X512的特征图经过卷积后变为1X1X256的特征图。

SSD网络使用不同深度的卷积层预测不同大小的目标,对于小目标检测使用较低层,大目标通过较高层检测。由前面各种尺度的特征层共同产生最后一层检测(图15)。

基于数据集细分及波段筛选的船只检测方法研究

SSD算法借鉴了RPN网络的默认候选框机制以及回归机制,同时也采用了多尺度特征表征的思想进行目标检测,从而使得该算法同时兼具检测速度快精度高的特点。

由于使用特征层进行预测的机制,最终会产生大量错误重叠甚至不正确的候选框,因此需要非极大抑制法(NMS,non maximum suppression)来优化,按照得分(类别概率值)对检测框排序。不断的迭代保留高质量检测框并输出。

参考文献:

[1]. 《中国海洋生态环境保护的创新思路》

[2]. 《无人机遥感在第三次国土调查中的应用实验》

[3]. 《基于遥感图像的船舶目标检测方法综述》