岳 瞳，杨 宇
(武警工程大学，陕西西安710016
)摘要：为探究深度卷积神经网络在舰船检测与识别中的应用，研究了基于深度学习方法的可见光图像舰船目标检测
与识别，总结了适用的可见光图像舰船数据集与针对舰船目标的网络优化方法㊂研究表明，迁移学习㊁先验框改进㊁特征优化等方法均能提升舰船检测与识别的准确率㊂未来应结合多源特征的融合，对轻量化舰船识别㊁细粒度舰船分类等方向进行研究㊂
关键词：深度学习；先验框改进；特征优化；舰船检测与识别；可见光图像舰船数据集中图分类号:T N 911.73 文献标识码:A 文章编号:C N 32-1413(2021)02-0077-06
D O I :10.16426/j .c n k i .j
c d z d k .2021.02.017D e t e c t i o n a n d R e c o g n i t i o n o f S h i p T a r g
e t i n V i s i b l e I m a g e s B a s e d o n D e e p L e a r n i n g
Y U E T o n g
,Y A N G Y u (E n g i n e e r i n g U n i v e r s i t y o
f P A P ,X i a n 710016,C h i n a )A b s t r a c t :T o e x p l o r e t h e a p p l i c a t i o n o f d e e p c o n v o l u t i o n a l n e u r a l n e t w o r k s i n s h i p d
e t e c t i o n a n d r e c o g n i t i o n ,t h i s p a p e r s t u d i e s t h e s h i p d e t e c t i o n a n d r e c o g n i t i o n i n v i s i b l e i m a g e s b a s e d o n d e e p
l e a r n i n g ,s u mm a r i z e s a p p l i c a b l e s h i p d a t a s e t s o f v i s i b l e i m a g e s a n d o p
t i m i z e d n e t w o r k m e t h o d f o r s h i p t a r g e t .T h e r e s e a r c h s h o w s t h a t m e t h o d s s u c h a s t r a n s f e r l e a r n i n g ,a n c h o r i m p
r o v e m e n t ,f e a -t u r e o p t i m i z a t i o n c a n a l l i m p r o v e t h e p r e c i s i o n o f s h i p d e t e c t i o n a n d r e c o g
n i t i o n .F u r t h e r r e s e a r c h s h o u l d i n t e g r a t e w i t h t h e m e t h o d o f m u l t i -s o u r c e c h a r a c t e r i s t i c s f u s i o n ,f o c u s o n l i g h t -w e i g h t s h i p
r e c o g n i t i o n a n d f i n e -g r a i n e d s h i p c
l a s s i f i c a t i o n ,e t c ..K e y w o r d s :d e e p l e a r n i n g ;a n c h o r i m p r o v e m e n t ;f e a t u r e o p t i m i z a t i o n ;s h i p d e t e c t i o n a n d r e c o g n i t i o n ;s h i p d a t a s e t s o f v i s i b l e i m a g
e s 收稿日期:20201013
基金项目：武警工程大学基础研究基金，项目编号:W J Y 201906；武警部队军事理论研究计划，项目编号:W J J Y 19-134;
装备军内科研项目，项目编号:W J 20182A 620020-2
0 引 言
大数据时代，基于海量的数据源对海上舰船目
标进行智能检测与识别是一个非常重要的任务，无论是在民用还是军用上，都有着很大的意义㊂对海上目标进行实时精准的检测与识别，在民用上可以辅助港口船舶管理㊁海上秩序维护，在军用上可以辅助战场态势感知㊁目标智能分析㊂目前，按数据源成像技术来分，主要有基于合成孔径雷达(S A R )
成像㊁可见光成像㊁红外成像的舰船目标检测与识别㊂
其中相比于S A R 图像㊁红外图像而言，可见光图像噪声低，不需要复杂的预处理；分辨率高，能够保留更多细节特征㊂传统的舰船检测与识别方法中的特
征表示主要依赖于尺度不变特征变换(S I F T )[1]
㊁加速稳定特征(S U R F )[2]㊁方向梯度直方图(HO G )
[3]等人工特征，准确性和泛化性都不高㊂而深度卷积神经网络因其全面㊁有效的特征表示输出已逐渐取代早期图像智能检测与识别中的手工特征提取手段，自从2006年H i n t o n 提出深度学习的概念后[4],
深度卷积神经网络呈现井喷式发展的态势，其在目
2021年4月舰船电子对抗
A p
r .2021第44卷第2期
S H I P B O A R D E L E C T R O N I C C O U N T E R M E A S U R E
V o l .44N o .2
标检测与分类识别中取得了优异表现，受到了学术界的广泛关注㊂本文主要对可见光图像的舰船目标检测与识别中深度学习方法的运用研究进行概述，探讨应用效果与存在问题，展望未来研究方向㊂
1 深度学习目标检测与识别方法简述
1.1 深度卷积神经网络
卷积神经网络的概念于上个世纪就开始出现与
发展，但由于学习样本与计算能力的受限并未得到广泛关注㊂进入21世纪以后，大数据时代的到来㊁图像处理硬件的改进与计算能力的提高使得对更加复杂的卷积神经网络的处理成为可能㊂以H i n t o n
博士的深度学习思想为基础,2012年A l e x 等人采
用线性整流函数(R E L U )构造了拥有5层卷积层和3层全连接层的A l e x N e t [5]
,
创新采用图形处理单元(G P U )进行训练，在I m a g
e N e t 竞赛上将识别错误率降低到15.3%;2014年牛津大学的视觉几何组利用较小的卷积核与较深的网络深度构筑了19层
的V g g N e t [6]，在2014年的I m a g
e n e t 大型视觉识别挑战(I L S V R C )
竞赛中获得了优异的成绩，探讨了网络深度对卷积神经网络模型的影响；同年的I L S -
V R C 竞赛中，谷歌研究院提出的G o o g
l e N e t [7]
将物体分类错误率刷新降低到了6.67%,
采用了全新的I n c e p
t i o n 结构，在不增加计算负载的情况下，增加了网络的宽度和深度，并且以不同的卷积核增强了特征获取能力㊂基于网络深度对学习表达能力更强的特征至关重要的思想,2015年I L S V R C 竞赛中,
微软研究院的H e 等人提出了深度残差网络R e s -N e t [8
]，并以3.57%的识别错误率一举夺得冠军㊂R e s N e t 中的s h o r t c u t 模块在前向过程中帮助网络
中的特征进行恒等映射，在反向过程中帮助传导梯
度，使其152层深的模型得以成功训练㊂H u a n g 和L i u 等人在2017年提出D e n s e N e t [9]
,
采用特征重用思想，建立了不同层间的连接，进一步解决了梯度消
失问题，相比于R e s N e t 在提升了效果的同时减少了参数量，被评为2017年C V P R 最佳论文㊂1.2 深度学习目标检测与识别框架
目标检测任务要求对原始图像进行对象级区域
定位，而目标识别任务要求对对象级区域进行分类识别㊂针对这两个任务衍生的深度学习框架可分为一阶段(O n e -s t a g e )和二阶段(T w o -s t a g e )算法㊂如图1所示，前者把背景划分进对象类别中，将检测与识别任务统一在一步完成，而后者则先完成前景检测任务(二分类)，再对前景区域映射到原图
中的区域提取特征训练另外一个网络，以获得更精确的多分类识别结果㊂研究表明，由卷积神经网络提取出的特征具有强大的泛化能力㊂在此基础上，涌现了一批优秀的目标检测与识别算法模型㊂
图1 二阶段与一阶段算法框架比较
1.2.1 二阶段算法
2014年,G i r s h i c k 等人提出了R -卷积神经网络(C N N )[10
]，对S S 算法生成的候选区域进行特征提取，然后用支持向量机(S VM )
进行类别的识别，将平均精确率均值(m A P )提升到53.3%;2015年,
H e 等人提出空间金字塔池化(S P P )-N e t [11],G i r -s h i c k 等人提出F a s t R -C N N [12
],
通过先提取整张特征图，再生成候选区域的方法提升了目标检测的速
度㊂2017年，何恺明㊁G i r s h i c k 等人为改进F a s t R -C N N ，联合提出了F a s t e r R -C N N [13
],
采用区域建议网络(R P N )代替S S 进行候选区域生成，将m A P 值提升到75.9%㊂
1.2.2 一阶段算法
2015年,R e d m o n 等人提出舍弃区域生成网
络，仅利用一个损失函数的端到端训练模型Y o -l o [14
],
极大地提高了检测速度，并在此基础上为改善模型的检测准确率相继提出了Y o l o 9000[15
]与
Y o l o V 3[16]
,
以出的检测效率闻名，为目标检测的工程运用做出了很大贡献㊂2016年,L i u 等人提出
了S S D [17]
模型,
改进目标框的预测规则，并利用多87舰船电子对抗 第44卷
尺度的特征图改善对小尺度物体的检测，成功得到
了比Y o l o 更快㊁
同时也更准确的检测效果㊂2 可见光图像舰船数据集
可见光图像是指光电探测传感器工作波段限于
可见光波段范围间的成像㊂其成像技术成熟㊁平台丰富，活跃于各类目标检测与识别实验中㊂与S A R 图像㊁红外图像中的舰船目标相比，可见光图像中的舰船目标分辨率高，在特征提取中有着明显优势㊂
在迄今为止的研究中，已涌现了一批较为标准与完善的可见光图像舰船数据集，本节选取2个比较适合使用的数据集进行介绍㊂2.1 S e a s h i p
s S e a s h i p s [18]
数据集来自可见光高分辨率监控图像，拥有6类共31455张图片,
且每一类中都包含了不同的场景㊂每张图片都进行了人工标注，同时包括边界框与类别标签，以P A S C A L V O C 2007的
格式保存了注释文件㊂作者用该数据集对Y o l o
,S S D ,F a s t e r -R -C N N 等模型进行了试训，在实时监控场景下取得了良好的效果㊂部分样本如图2所示
㊂
图2 S e a s h i p
s [18]
部分类别图片
2.2 MA R V E L
MA R V E L [19]
是一个大型船舶数据集,
主要用于舰船目标分类识别㊂作者通过对用户上传的海量图像数据进行分析，根据可分性和意义性整理出了
26类共1190169张图像㊂数据集图片质量高，数量大，缺点是各类图片数量不均匀㊂部分样本如图
3所示㊂
3 基于深度学习的舰船目标检测与识
别方法
舰船目标的检测与识别本质上是物体检测与识别的一个子任务㊂将舰船作为前景目标进行检测与识别，与常规的物体检测与识别一样面临着遮挡㊁
复
图3 M a r v e l [19]
部分类别图片
杂背景㊁多姿态的问题，对一般的模型具有一定的可适用性；然而，由于舰船数据集的特殊性㊁舰船目标的结构复杂性与特征精细性，为了实现高效率㊁高准确率的舰船目标的检测与识别，对更好的方法也存在着很大需求㊂因此，研究人员针对模型迁移㊁候选区域生成㊁特征提取等方面进行了针对性的研究，概览如图4所示㊂
图4 基于深度学习的舰船目标检测与识别方法概览
3.1 基于从头训练与迁移学习的方法
考虑到深度卷积特征强大的泛化能力，部分研
究人员们尝试直接利用深度学习目标检测与识别模
型进行舰船目标检测与识别㊂文献[20]中，作者用自标注的光学遥感图像数据集对F a s t e r R -C N N 进
行从头训练，并与传统的HO G+S VM ,S I F T+
S VM 等方法进行比较，发现F a s t e r R -C N N 具有突
出的性能优势；文献[21]中，作者用20000张不同
舰船的图像分别对F a s t e r R -C N N 与Y O L O 进行
从头训练，发现F a s t e r R -C N N 的准确率与召回率
高,Y O L O 的运行效率较高㊂
同时，也有一部分研究人员考虑到自制舰船数
据集存在数据量不够足㊁类别分布不够均匀的问题，将共享参数的迁移学习方法应用到舰船目标检测与分类识别上㊂共享参数的迁移学习一般用于深度学习㊂在源数据与目标数据域均有标注，且目标数据集达不到要求㊁源数据集数据量足够的情况下，利用大数据集对模型进行预训练，得到初始化的参数后,
9
7第2期
岳瞳等：基于深度学习的可见光图像舰船目标检测与识别
再用特定目标的小数据集对预训练好的模型进行微调㊂文献[22]首先用I m a g e N e t数据集预训练好多个版本的I n c e p t i o n n e t和R e s n e t，再基于MA R-V E L数据集进行微调，将检测结果进行对比，在I n-c e p t i o n V3上达到了最高78.73%的分类正确率；文献[23]中，作者尝试用在I m a g e N e t上训练好的F a s t e r R-C N N模型对自制的七类别小型数据集进行迁移学习，首先单独对R P N网络进行微调，得到微调后的模型后，用其输出对后面的全连接分类层进行训练，更新整个网络的参数；接着再进行整体网络微调，冻结R P N网络和共享卷积层，对全连接分类层进行训练；作者还对在I m a g e N e t上训练好的S S D模型进行微调训练，并对两者进行了比较，发现S S D对小舰船目标的检测精度较低，但是整体速度较快;F a s t e r R-C N N对小舰船目标检测精度较高，但是整体速度偏慢㊂上述总结如表1所示㊂表1不同卷积神经网络在MA R V E L数据集上的
分类实验结果[22]
结构层数每秒图像准确率预训练A L E X N E T8298073.14%无
R E S N E T5021874.38%I m a g e N e t R E S N E T1529174.67%I m a g e N e t
I n c e p t i o n V34814278.73%I m a g e N e t
3.2基于先验框改进的方法
针对自然常见目标的区域生成方法对候选框的设计思想往往较为简单宽泛，多从经验角度选择普适的比例，不具有针对性㊂如Y o l o㊁R P N网络中的锚点框默认均采用整数的纵横比㊂而舰船目标特殊的结构意味着：如果不能很好地确定候选框尺寸，不仅会导致较多的无用背景特征包含进特征图里，而且意味着对一些二维轮廓信息的丢失，造成识别准确率的下降㊂对此，一部分学者重点研究尺寸自适应的检测框㊂文献[24]在S S D网络的锚点设置中采用k-m e a n s聚类，将样本中标注框的纵横比作为输入，聚类得到相适应的比例；文献[25]对R P N网络提出一种自适应的锚点机制，将标注信息的纵横比归一化后作为输入，使用优化后的k-m e a n s++算法进行聚类㊂k-m e a n s++提出在初始化时指定簇中心，避免了随机选择中心点对聚类结果与收敛速度的影响，增强了纵横比聚类结果的鲁棒性㊂文献[26]针对循环注意力(R A)-C N N中注意力生成网络(A P N)提出了多特征(M F)-A P N网络㊂该网络目标是用纵横比适当的矩形先验框取代原网络中
的正方形先验框㊂作者通过设计可导的截取函数,
以面积与尺度为约束，计算出符合要求的矩形框纵
横比㊂之后按照实际需求选取合适的先验框个数,
以此来框取船舶排烟口㊁雷达天线等特殊区域，在识
别与定位中得到了更好的鲁棒性㊂
另外，常见目标检测中的候选框多选择水平垂
直矩形框，但是由于舰船目标在图像中具有方向性
强的特点，使得此种候选框对港口码头等船舶聚集
场景中的个别定位很不精确，因此对候选框形状的
设计也很重要㊂同时，合适的候选框形状也有利于
去除冗余背景信息㊂对此，一部分研究人员将眼光
投向了旋转检测框㊂文献[27]提出旋转区域(R R)-C N N，将旋转检测框的方法应用在密集船舶的定位检测上，应用了旋转感兴趣区域池化方法㊁旋转包围
框回归方法㊁类间非极大值抑制，在H R S C2016数据集上取得了良好的检测效果；文献[28]将M a等人在文字识别领域中提出的旋转区域建议网络(R R P N)[29]模型应用在光学遥感图像中的舰船检测中，并针对其中的旋转感兴趣区域池化做了改进㊂作者考虑到环境信息不全可能导致特征过于特殊，所以在特征池化时引入了适当的环境信息，提出上下文旋转感兴趣区域池化，同样在H R S C2016数据集上进行实验，对比R R-C N N提高了5个百分点的m A P㊂文献[30]在S S D中使用旋转锚点，并在
此基础上创新提出了R e l a t e d-交并比(I O U)方法，在I O U的计算中引入角度信息，在训练中有效剔除角度相差较大的锚点，对自制数据集中多方向与并靠的船舶均做到了较精确的定位㊂上述一系列研究表明，旋转检测框的应用对密集靠泊与方向性强的舰船目标有较好的检测效果㊂
如表2所示的比较表明，在海面稀疏㊁港口稀疏㊁港口密集㊁复杂背景等场景下采用旋转检测框的方法进行检测，可以得到较低的漏检率与精确的定位结果，展现了此方法的优越性㊂
表2不同模型在H R S C数据集上的
检测实验结果[28]
模型候选框形状平均精确率(MA P)
S H D-H B B[31]水平69.5
R R-C N N旋转75.7
R R P N+R R O I P o o l i n g旋转79.6
R R P M+C R R O I P o o l i n g旋转80.7 3.3基于特征优化的方法
相比于人工设计的船舶特征，深度卷积神经网
08舰船电子对抗第44卷
络对舰船图像提取的特征已具备了更强的泛化性和更抽象的细节特征㊂但是基于舰船自身的复杂结构，在精细化与复杂度较高的任务里，为了得到更高的识别准确率，对特征的进一步优化仍是必要的㊂学者们考虑对特征提取网络进行不同形式的扩展与改进，探讨增强型深度卷积特征的分类表现，通过各种方法研究了特征优化的可能途径㊂文献[32]㊁文献[33]基于残差网络的思想对Y o l o网络进行改进,
加入残差模块后将低层的特征直接连接到高层，减轻了梯度消失的影响，提取出更完整的船舶特征，对可见光遥感图像中的舰船目标进行检测，准确率较改进前有显著提高；文献[34]基于Y o l o V3的多尺度思想，将原网络中的三尺度特征融合改进为四尺度特征融合，对小目标舰船的检测效果提升明显，如表3所示㊂
表3不同模型结合不同特征优化方法的
检测实验结果[34]
结构残差块特征融合层数准确率
F A S T E R R-C N N无388.82% Y O L O V3有393.89% Y O L O V3改有494.95%
另外，还有针对通道与辅助网络的特征改进方式㊂文献[35]提出A u g N e t算法，使网络通过学习自分配特征通道的权重，以达到强化有效特征㊁抑制无效特征的效果㊂作者在G o o g l e N e t上应用此算法，对自构建的大规模舰船数据集进行分类识别实验，准确率比原始的G o o g l e N e t提升了1.5%；文献[36]基于对抗生成网络(G A N)网络的思想，将分类子网络作为判别器在其上级联了一个生成器，交替训练以生成模仿小概率样本的特征㊂通过对小样本的特征学习，间接循环增强了特征表示，达到了辅助分类的效果，总结如图5所示㊂
图5特征增强与优化方法
3.4其他提高舰船目标检测与识别性能的方法
文献[37]提出一种轻量化模型，将精力集中在提高检测与识别的效率上，为资源受限条件下的舰船检测与识别提供了方案㊂作者在S S D网络原框架的基础上，采用了可分离卷积方法，大幅减少了卷积核的参数；同时，将输入特征通道进行过随机比例
切分之后使用不同尺寸的卷积核进行卷积操作，从而减少了模型中参数的使用㊂该模型大小较R e s-N e t缩小了5倍多，单帧耗时仅需16.3m s㊂文献[38]提出了多特征堆叠(M E)-C N N，考虑了多源多网络
的复合性处理㊂在对源图像进行不同形式的预处理以后，将所得的图像分别作为不同卷积神经网络的输入，提取有不同的深层抽象特征后分别进行分类，最后将不同的分类结果进行组合，在V A I S[39]数据集上取得的准确率较单分支网络有所提高㊂文献[40]提出粗细级联(C F C)-C N N，考虑对常规网络进行层级改进，将基础网络的结果送进第2层进行验证，对没有达到假设预期值的类别进行重训练，尝试针对第1层中识别结果最差的类别提取更有区别性的特征，对比一层网络的模型进行实验，取得了较好的准确率㊂
4结束语
4.1总结
在人工智能与大数据时代，深度学习技术得到了极大关注，可见光图像舰船目标检测与识别的应用也愈发广泛㊂基于对检测框改进㊁特征优化等方法的大量研究，深度学习技术针对舰船目标检测的调整应用也愈发成熟㊂总的来说，在不断的实验探索中，融合深度学习方法的可见光舰船目标检测与识别在实时性㊁准确性㊁精确性上，均有所改进:
(1)相比于早期对模型直接进行转移应用㊁从头训练的方法，迁移学习明显克服了数据量不足的问题，利用小数据集也能得到较好的准确率㊂
未识别的网络
(2)基于改进候选框与特征优化的方法，经实验证明均能在一定程度上剔除冗余信息，增强细节特征，使得针对舰船的目标检测与识别达到较高的准确率㊂
4.2展望
为了达到精细度与复杂度更高的前沿应用要求，下一步仍应对3个方面进行拓展研究:
(1)仍要对更全面㊁更精准的特征表示进行研究㊂探究融合多波段源图像的精度提升方法㊂S A R图像㊁红外图像㊁可见光图像在不同环境下拥有独特的优势㊂结合3类图像进行联合判别，探索有效的特征融合方法；探究在多网络㊁多层次模型下的创新型特征提取方法，在不断实验中尝试寻性能更好的组合架构㊂
18
第2期岳瞳等：基于深度学习的可见光图像舰船目标检测与识别
发布评论