第46卷第2期2024年3月
沈 阳 工 业 大 学 学 报JournalofShenyangUniversityofTechnology
Vol 46No 2Mar 2024
收稿日期:2022-12-08
基金项目:中国博士后科学基金项目(2020M670796)。
作者简介:郭 磊(1985—),男,湖北武汉人,高级工程师,硕士,主要从事油气储运工程等方面的研究。
檪檪檪檪檪檪檪檪檪檪殏
殏
殏
殏
控制工程
DOI:10.7688/j.issn.1000-1646.2024.02.15
基于注意力特征融合的漏磁缺陷识别方法
郭 磊1,丁疆强1,李智文1,李洪伟2
(1 国家石油天然气管网集团有限公司西气东输分公司,上海200122;2 沈阳国仪检测技术有限公司,辽宁沈阳110043)
摘 要:针对漏磁缺陷识别率低、检测速度慢等问题,提出了一种基于注意力特征融合的漏磁缺陷识别方法。所提算法以CenterNet为基础进行修改,主干网络选取了一种轻量级网络PP LCNet,相较于现在流行的主干特征提取网络既保证了低计算量又保证了高精度。采用注意力网络CBAM主动学习低层特征中的重要信息并与高层特征进行融合,使模型同时获得低层细粒度信息与高层语义信息,进而提升小缺陷识别的准确率。结果表明,当IOU大于0 5时,所提算法的准确率为94 3%,推理时间为9 6ms。
关 键 词:注意力机制;缺陷识别;深度学习;深度可分离卷积;特征融合;轻量级网络;漏
磁;目标检测
中图分类号:TE973 6 文献标志码:A 文章编号:1000-1646(2024)02-0212-07
Magneticfluxleakagedefectrecognitionmethodbased
onattentionfeaturefusion
GUOLei1,DINGJiangqiang1,LIZhiwen1,LIHongwei
2
(1.WesttoEastGasTransmissionBranch,NationalPetroleumPipelineNetworkGroupCo.,Ltd.,Shanghai200122,China;2.GuoyiTestingTechnology(Shengyang)Co.,Ltd.,Shenyang110043,Liaoning,China)
Abstract:Aimingattheproblemoflowrecognitionrateandslowdetectionspeedofmagneticfluxleakage(MFL)defects,aMFLdefectrecognitionmethodbasedonattentionfeaturefusionwasproposed.ThealgorithmwasmodifiedonthebasisofCenterNet.AlightweightnetworkPP LCNetwasselectedasthebackbonenetwork,whichcouldsimultaneouslyguaranteelowcom
putationandhighaccuracy,comparedwiththepopularbackbonefeatureextractionnetwork.Atthesametime,theattentionnetworkCBAMwasusedtopositivelylearntheimportantinformationaboutthelow levelfeaturesandintegrateitwiththehigh levelfeatures.Themodelcouldobtainbothlow levelfine grainedinformationandhigh levelsemanticinformationtoimprovetheaccuracyofsmalldefectrecognition.Theexperimentalresultsshowthattheaccuracyofas proposedalgorithmis94 3%andtheinferencetimeis9 6ms,respectively,whentheIOUisgreaterthan0 5.Keywords:attentionmechanism;defectrecognition;deeplearning;depthwiseseparableconvolution;
featurefusion;lightweightnetwork;magneticfluxleakage;objectdetection
管道因其运量大,成本低等优点一直作为输送天然气的主要载体。但长时间的运行很容易因腐蚀发生泄漏,对经济、环境、人民的生命财产安
全造成危害[1-4]
。因此定期对管道进行检测是十
分必要的,漏磁检测因其不受环境和媒介等因素
的影响,因而是现在最常用的管道检测手段。为了提高检测精度,缩短人工判别的时间,深度学习
算法被应用于漏磁检测中[5-6]
。
2014年随着R CNN的横空出世,目标检测技术也有了很大的进展,在此之前所使用的技术
主要基于滑动窗口与人工特征提取,而这些技术不仅算法的复杂性较大,而且在更复杂的环境下鲁棒性也较差。而以R CNN为开端,基于深度学习的目标检测方法则可以自动获得目标信息,有效提高检测的效率与精度。很多学者在缺陷检测领域运用了深度学习算法,并取得了不俗的成绩。两阶段目标检测算法又称为基于区域提议的目标检测算法,通过显式的区域提议将检测的问题转化为对生成的提议区域内局部图片的分类问题,该类算法在第一阶段生成区域提议,在第二阶段对感兴趣区域中的内容进行分类和回归,代表算法为R CNN、SPP Net、FastR CNN以及FasterR CNN等。SU等[7-9]通过改变卷积神经网络模型增加参数量,虽提升了精度但牺牲了速度。一阶段目
标检测算法直接对整幅图像进行回归预测,无需生成感兴趣区域,代表算法为SSD和YOLO等。YANG等[10]利用空洞卷积代替普通卷积来增加模型的感受野,该类算法虽然提升了检测速度,但降低了检测精度。因此现在急需构建一个兼顾高精度与速度的漏磁缺陷检测模型。自2018年的CornerNet出现后,Anchor free目标检测模型开始快速发展,Anchor free无需设置锚框的大小,减少了计算量,且特征图上的位置只需设置一个样本,代表算法有CornerNet、ExtremeNet、CenterNet等[11]。
基于此,本文提出一种基于注意力特征融合的漏磁缺陷识别方法。为了符合实际应用,该方法采用一种轻量级网络PP LCNet作为主干网络,大大减少了模型的参数,并使用一种注意力网络CBAM自动学习低层特征中的重要信息,并将低层信息与高层信息相融合,使模型得到细粒度信息进而提升小目标的准确率。同时该模型可输出分辨率较大的特征,下采样率只有4,其他算法普遍在8~16,且不需要进行非极大值抑制,利用最后得到的特征图进行三个卷积操作,本文采用5×5的深度可分离卷积代替原来3×3的普通卷积,不仅可以增加感受野,也提高了检测精度,还不会增加计算量。首先进行热力图预测。热力图的通道数对应要检测目标的类别数,该步骤主要用来预测每一个热力点是否含有物体,以及判定物体的种类,利用尺寸为3×3的最大池化对热力图进行最大值筛选,出一定区域内得分最大的热力图特征点。然后进行中心点预测。此时通道数为2,表示判断物体的中心距离热力点偏移的情况。之后进行长宽预测。此时通道数为2,表示当前特征点所对应的预测框的长宽。对于中心点的偏移,利用中心点加上或者减去长宽预测结果除以2,获得预测框的左上角和右下角,此时获得的预测框就可以绘制在图片上。经过上述步骤的改进能够得到一个高精度低延迟且可应用于实际工作的检测网络。该模型能够同时检测大目标(如焊缝、法兰等)和小目标(如缺陷)。
1 算法的改进
本文方法是一种改进的CenterNet方法,主要创新点是采用PP LCNet作为主干网络提升模型的检测速度,同时引入一种注意力特征融合方法来提高检测精度。
1 1 CBAM
CBAM是由通道注意力与空间注意力串联得到的注意力机制[12],其整体流程图如图1所示。通过两个并行的全局最大池化和全局平均池化,使输入特征变成两个1×1×C的特征,再将其送入两层的全连接层中进行训练,神经元个数先下降再增加到C,使输出神经元的个数与输入的一致,再对两个特征进行Add操作,并输入sigmoid函数后得到通道注意力特征,最后与输入特征相乘得到空间注意力特征,其计算表达式为
M
c
(F)=σ(Q(P
avg
(F))+Q(P
max
(F)))=
σ(W1(W0(Fcavg))+郭晓敏资料
W
1
(W
0
(Fc
max
)))(1)
式中,W
0
与W
1
分别为两层全连接层的权值,均为sigmoid函数。
通过全局最大池化与全局平均池化将输入特征变成两个W×H×1的特征图,对两个特征图使用Concat操作得到一个特征图为W×H×2,再使用卷积运算改变通道数为1,即W×H×1,通常使用卷积核为7×7的卷积运算。最后将输出特征送入sigmoid函数中得到空间注意力特征,表
示为M
s
,其计算表达式如式(2)所示,其中f7×7表示卷积核为7的卷积层。将该特征与输入的通道注意力特征相乘就能得到同时包含通道注意力与空间注意力的特征。
M
s
(F)=σ(f7×7([P
avg
(F);P
max
(F)]))=
σ(f7×7([Fsavg;Fsmax]))(2)1 2 PP LCNet
PP LCNet是一种轻量且高效的网络,其在分类任务上超过了之前的轻量级网络ShuffleNetV2、MobileNetV2、MobileNetV3以及GhostNet[13]。该网络的基础模块是深度可分离卷积,通过构造类似MobileNetV1的网络,并与现有的调参技术相
3
1
2
第2期 郭 磊,等:基于注意力特征融合的漏磁缺陷识别方法
图1 CBAM流程图Fig 1 FlowchartofCBAM
结合构造一种更强的PP LCNet网络。选择H Swish激活函数来代替Relu,在性能大幅提升的同时推理速度不会变化。在网络中混合不同尺寸的卷积核会降低模型的推理速度,因此PP LCNet网络尝试在同一层仅使用一种卷积核,并在模型的尾部采用5×5卷积核,进而在保证高精度的同时提高推理速度,将CBAM放在网络的尾部模块也会有更好的作用,该网络的主要参数如表1所示。表1中DepthsepConv表示深度可分离卷积,Transpose Conv表示转置卷积,最后一列的对号表示在该层中采用了CBAM注意力机制。
1 3 检测头的设计
检测头主要包含三个部分,分别对应热力图中心点的预测、检测框长宽的预测以及偏移中心点的预测。对原始图片下采样后生成128×128大小的热力图,先将实际框中心点的坐标映射到热力图中,再通过一层卷积核深度为5的可分离卷积和1×1卷积完成回归任务,得到特征图尺寸[W,H,C],其中W取128,H取128,C取3。再对检测出的类别做长宽预测,得到特征图尺寸[W,H,2],其中2表示预测框的长宽。最后进行目标偏移中心点的预测得到特征图尺寸[W,H,2],此时2表示预测中心点的坐标。因为目标中点的像素值与周围点的像素值有极强的相似性,网络在学习的过程中很难对中点有极强的响应,因此在特征图中引入高斯圆,求出高斯圆的半径r,在热力图的中心
表1 PP LCNet网络参数
Tab 1 ParametersofPP LCNetnetwork
操作输入
输出
CBAM
Conv2d3×3
步长=2
512
2×32562
×32DepthsepConv3×3
步长=1256
2×322562
×32DepthsepConv3×3步长=2256
2×321282×128DepthsepConv3×3步长=1128
2×1281282×128DepthsepConv3×3步长=2128
2×128642
×256DepthsepConv3×3步长=164
2×256642×256DepthsepConv3×3步长=2
64
2×256322×5124×DepthsepConv5×5步长=132
2×512322×512DepthsepConv5×5步长=232
2×512162
×1280 DepthsepConv5×5步长=116
2×1280162×1280
TransposeConv4×4步长=2162×1280322×256
TransposeConv4×4步长=232
2×256642
×128TransposeConv4×4步长=2
64
2×1281282×64412沈 阳 工 业 大 学 学 报 第46卷
点处以r为半径画圆,只要在此范围内得到的预测框与实际框的IOU大于0 7的点都可以保留。
1 4 损失函数的设计
损失函数包含三个部分,分别为热力图中心点损失函数、目标中心点偏移损失函数和目标长宽损失函数。总损失函数为
Ldet=Lk+λsizeLsize+λoffLoff
(3)式中:λsize=0 1;λoff=
1。热力图中心点损失函数为
Lk=-1N∑xyz
(1-^Yxyz)αlog(^Yxyz) (^Yxyz=1)-1N∑xyz(1-Yxyz)β(^Yxyz)αlog(1-^Yxyz
)(其他 )
(4)式中:α=2,β=
4,为Focalloss的超参数用来均衡难易样本;Yxyz为真实关键点;^Yxyz为预测关键点;N为关键点数量。
目标中心点偏移损失函数为
Loff
=1N∑p^O珘
p-pR
-珘()
p (5)
式中:^O珘p为网络预测的偏移量数值;p为图像中心点坐标;R为缩放因子,取值为4;珘p为图像缩放后的近似中心点的整数坐标。
目标长宽损失函数表达式为
Lsize=1
N∑N
i=1
Dpi-Di
(6)
式中:Di为目标的真实尺寸;Dpi
为预测尺寸。算法流程如图2
所示。
图2 算法整体流程图
Fig 2 Overallflowchartofalgorithm
2 实 验
2 1 实验环境
实验中电脑CPU为i5 12500H,GPU为RTX 3060,内存为6G,使用的语言为python3 7,深度学习框架为pytorch1 8,根据漏磁检测原理可知,随着缺陷长度的增强,漏磁轴向信号峰值也会增
多,最多可出现两个峰值[14]
,而径向信号一直是一正一负两个峰值,当缺陷的尺寸过长时,径向信
号中间的位置会保持平缓[15-16]
,漏磁缺陷图像如
图3所示。
本次实验选用两个数据集,其中数据集A共23739张漏磁图像,包含缺陷、焊缝、法兰三类图像。选取其中的80%作为训练集,20%作为测试集,数据集B共1000张漏磁图像。
2 2 参数分析
PP LCNet主干网络主要由深度可分离卷积
构成,基于调参技术实现了高检测速度与检测精度的目的。最后使用三层转置卷积增大特征图的
尺寸,提高小目标的检测精度[17-19]
。
小目标因为缺少细粒度信息,在特征提取的
5
12第2期 郭 磊,等:基于注意力特征融合的漏磁缺陷识别方法
图3 漏磁缺陷图像
Fig 3 Imagesofmagneticfluxleakagedefects
过程中使用传统的最大池化下采样方式会使本就缺少细粒度信息的小目标丢失更多的信息,使小目标的检测精度降低,因此引入一种CBAM注意力机制自动识别低层特征中的细粒度信息,使得网络包含小目标的轮廓、颜、位置等信息,再与高层特征进行融合,有效地提高了小目标的检测
精度[20-22]。
2 3 实验结果验证
改进后的检测结果如图4所示,通过检测结果能看到检测的准确率较高。
表2为不同算法的精确率与延时实验结果。表中:A为精确率;AS为小目标精确率;AM为中目标精确率;AL为大目标精确率。通过表2可知,改进后算法在精确率上要优于其他算法,
在推
图4 改进后的检测结果
Fig 4 Detectionresultsafterimprovement
理速度上也要远快于其他算法。
表2 精确率与延时实验结果
Tab 2 Experimentalresultsofprecisionrateandtimedelay
算法
A/%A@0 5/%A@0 75/%
AS/%AM/%AL/%延时/msFasterR CNN(Ⅰ)72 491 686 358 865 177 2172 3MaskRCNN(Ⅱ)73 695 289 258 764 676 8102 5DeNet(Ⅲ)71 991 285 757 664 376 9173 5CoupleNet(Ⅳ)72 391 586 258 165 477 1172 8F
COS(Ⅴ)76 898 282 561 568 081 231 5RetinaNet(Ⅵ)75 295 990 659 264 977 675 8SSD(Ⅶ)71 691 488 657 664 278 382 5YOLOV3(Ⅷ)69 888 685 253 959 774 530 4CornerNet(Ⅸ)76 294 990 160 167 280 332 6ExtremeNet(Ⅹ)76 796 491 361 066 779 736 1CenterNet(Ⅺ)75 696 693 256 268 081 622 5改进后算法(Ⅻ)
77 3
99 3
93 2
63 4
68 2
83 5
9 6
612沈 阳 工 业 大 学 学 报 第46卷
发布评论