比较分析
文|张国珍，孔维兵，周继威
叶片是风电机组有效捕获风能的重要部件，其性能质量直接关系到机组的整体运行效率和安全。受到现场复杂恶劣运行环境和应力载荷的影响，长时间运行的风电机组叶片容易形成各种损伤，导致风电机组运行效率降低、故障频发，严重时甚至导致叶片折断、风电机组倒塔等事故。为遏制重大事故的发生，有必要提高机组巡检时故障诊断的准确率。
随着无人机巡检技术的不断发展，无人机检测已经规模化应用到风电机组叶片检测中。例如，可以实现叶片结冰检测、叶片表面缺陷识别、叶片裂纹检测。该技术实现故障检测的关键在于图像识别深度学习算法，该算法可以识别并分割出图像中的叶片轮廓，继而提取叶片缺陷信息作为有无故障的判别依据，最终实现对风电机组叶片图像缺陷的智能识别。对于该算法，准确识别叶片轮廓是实现叶片故障识别准确率提升的重要前提。因此，研究不同图像识别深度学习算法用于叶片轮廓识别的准确性具有重要意义。
目前，将风电机组叶片轮廓从拍摄图片中分割出来所用的网络分割模型主要有U-Net和Mask-RCNN两种。
U-Net 模型是一种类FCN新网络分割模型，在医学CT图像分割、遥感影像建筑物提取等方面有较广泛的应用；Mask-RCNN 模型是目前目标检测领域应用较广的算法，在遥感船只等海洋信息研究及植物叶片目标识别等农学领域应用较多。本文基于U-Net模型和Mask-RCNN模型两种不同的深度学习算法，对叶片叶根、叶中、叶尖位置进行轮廓识别。
理论模型
一、U-Net网络模型
U-Net网络是FCN的一种变体，最早是为了解决生物医学影像图像识别方面的问题，后来广泛应用于工业设备故障检测中。U-Net网络与FCN网络都是很小的分割网络，为Encoder-Decoder结构。U-Net网络是典型的卷积网络架构，共23层，由收缩路径和扩张路径组成。
U-Net网络的收缩路径，由卷积和MaxPooling构成一系列降采样操作。该路径由4个block组成，每个block有
2个卷积层、1个激活函数ReLU、1个MaxPooling层下采样。网络的输入是一张572*572的图片，每次降采样之后，
Feature Map的个数翻倍，因此，Feature Map尺寸发生变化，最终得到的尺寸为32*32。
U-Net网络的扩张路径，同样由4个block组成。该路径是结合下采样各层不同位置叶片信息和上采样的输入信息来还原叶片细节信息，并且逐步还原图像精度。每个block开始前通过反卷积将Feature Map的尺寸翻倍，同时将其个数减半，然后和左侧对称的收缩路径的Feature Map 合并。由于收缩路径与扩张路径的Feature Map尺寸不一样，通过对其进行修剪及拼接，最终得到Feature Map的尺寸是388*388。非诚勿扰谢羽亿牵手
二、Mask-RCNN网络模型
Mask-RCNN网络结构包括主干架构（Backbone）、区域候选网络（RPN）、兴趣区域分类器（ROI）和边界框回归器、分割掩码4个部分。主干架构是一系列用于提取图像Feature Maps的卷积层，如VGG16、VGG19、GoogLeNet、ResNet50、ResNet101等。区域候选网络是一个轻量的神经网络，它用滑动窗口来扫描图像，并寻图像中的叶片区域，该区域被称为anchor。使用RPN的预测，可以选出包含叶片区域的anchor，并对其位置和尺寸进行精调。如果有多个anchor互相重叠，选择保留拥有最高前景分数的anchor，并舍弃余下的，得到最终的叶片区域，并将其传递到下一个
阶段。兴趣区域分类器和边界框回归器是在由RPN 提出的
ROI 上运行的，会生成类别和边框精度两个输出，ROI 中的
目标类别除可以将区域分为具体的类别（叶片）外，还可以生成一个背景类别；边框精调的目标是通过进一步精调边框的位置和尺寸以将目标封装。掩码分支是一个卷积网络，取ROI 分类器选择的正区域为输入，并生成它们的掩码。
实验结果与分析
一、参数设定及环境配置
语义分割：以U-Net 为主干网络，选择网络大小适中、
对算力要求不高的ResNet50为后端网络（后期将选择精度
更高的ResNet101为后端网络进行进一步研究），Keras 为
训练框架。实例分割：以Mask-RCNN 为主干网络，Mask-立夏祝福语
RCNN_R-50-FPN 为后端网络，Caffe2为训练框架。两种分
割模型中Batch_Size 为一次训练所选取的样本数，其大小影响模型的优化程度和速度，根据模型训练需求设定具体
参数如表1所示。为满足算法运算，计算机环境配置如表2所示。
二、样本采集及标注
利用无人机对山西某风电场12台风电机组的叶片进行
图像采集，共拍摄2906张图像。在对叶片图像进行深度学习时，共标注300张图像作为训练数据。
无人机巡检风电机组叶片时，对每支叶片的前缘、后
缘、迎风面、背风面4个路径进行拍摄，每个路径大约20
张图片。根据叶片拍摄路径及场景的不同，选择叶根、叶中、叶尖三个位置各100张照片，采用常用的深度学习标注软件LabelMe 对叶片轮廓（图1）通过添加标签进行标注，生成
的图片以json 文件形式保存在原图对应位置。图2为标注
后的叶片可视化图像，红区域为叶片，黑区域为背景。
三、实验结果及分析
将300张标注图像分别导入U-Net 模型和Mask-RCNN
模型进行训练，由如图3 所示的模型训练精确率结果可知，Mask-RCNN 模型训练精确率远高于U-Net 模型。U-Net 模
表1 两种训练模型参数
U-Net 语义分割Keras
ResNet50
0.0011Mask-RCNN 实例分割
Caffe2Mask-RCNN_R-50-FPN
0.001
祝耀武1
表2 计算机环境配置
CPU
**************************
RAM 32G
GPU NVIDIA GeForce RTX 2070
编程语言
Python 3.8
（a）叶根 （b）叶中 （c）叶尖丁柳元老公
图1 风电机组叶片样本
确识别叶根背光和轮毂曝光位置；叶中位置轮廓的识别效果相对较差，可以准确识别图片中正常光线下拍摄的叶片轮廓，不能准确识别叶片背光位置；叶尖位置轮廓的识别效果相对较好，能够准确识别叶尖整个轮廓。对于Mask-RCNN 模型：叶根位置轮廓的识别效果较好，可以准确地将图片中叶根与轮毂进行区分，并对叶片背光和曝光位置进行识别；叶中位置和叶尖位置轮廓的识别效果最好，能
够准确识别叶中及叶尖整个轮廓。
为了验证U-Net 模型和Mask-RCNN 模型对风电机组
叶片轮廓识别的精确性，本文选取45张无人机巡检图像（叶
根、叶中、叶尖三个位置的图像各15 张）作为测试集。在
叶片轮廓识别结果中，图像识别内容仅涉及叶片部分，且
叶片检出面积大于90%的为被检出样本；图像识别内容包括叶片以外部分的为误检样本；图像识别内容仅涉及叶片部分，且叶片检出面积小于90%的为未被检出样本，分别
以检出率（true positive rate ，TPR ）、误检率（false positive
rate ，FPR ）、漏检率（loss positive rate ，LPR ）指标进行评价：
TPR n n T =
（1）式中，n T 为被检出的样本数，
n 为目标样本总数。 FPR
n
n FF
P
= （2）
式中， n F 为被误检出的样本数。
LPR n
n L = （3）式中， n L 为未被检出的样本数。
从表3中可以看出，基于深度学习Mask-RCNN 模型
（a）叶根 （b）叶中 （c）叶尖
图2 风电机组叶片标注样本
图3 U-Net模型和Mask-RCNN模型训练精确率
型在训练初始阶段精确率变化幅度较大，当模型运行500次以上，精确率趋于稳定，维持在74%左右。Mask-RCNN 模型在训练初期阶段精确率较低，当模型运行100次左右，
疫情结束需4个条件2023春节七天改为15天了吗精确率达到峰值98%左右，随后趋于稳定。
风电机组叶片训练后的识别结果如图4及图5所示。
由图可以看出，U-Net 模型对叶片轮廓的整体识别效果较差，Mask-RCNN 模型对叶片轮廓的整体识别效果较好，与U-Net 模型和Mask-RCNN 模型训练精确率结果相符合。对
于U-Net 模型：叶根位置轮廓的识别效果最差，将图片
中风电机组叶根及连接的轮毂一起识别出来，同时不能准
结论
本文针对U-Net 模型和Mask-RCNN 模型两种深度学
习网络算法用于风电机组叶片无人机巡检图像轮廓识别的准确性进行分析：利用深度学习标注软件LabelMe 分别对训练样本叶片的叶根、叶中、叶尖位置轮廓进行标注，将
标注后样本进行深度学习训练，并通过测试集对模型进行
测试。结果显示，Mask-RCNN 模型对叶片轮廓整体识别效
果较好，可以实现对风电机组叶片叶根、叶中、叶尖轮廓
的精确识别。
(
作者单位：张国珍：龙源电力集团股份有限公司；孔维兵，
周继威：
中能电力科技开发有限公司
)
（a）叶根 （b）叶中 （c）叶尖
图4 风电机组叶片样本U-Net模型训练结果
（a）叶根 （b）叶中 （c）叶尖
图5 风电机组叶片样本Mask-RCNN模型训练结果
表3 测试集结果
模型
TPR
FPR
LPR
U-Net 75.6%8.9%15.5%Mask-RCNN
95.6%
0%
4.4%
的叶片轮廓识别方法，相比于U-Net 模型，风电机组叶片轮
廓识别漏检率降低11.1%，误检率降低8.9%，检出率提高
20%，达到95.6%。由此可得，Mask-RCNN 模型对叶片轮廓的识别效果整体优于U-Net 模型。
发布评论