2021年5月农业机械学报第52卷第5期doi：10.6041/j.issn.1000-298.2021.05.018
基于Mask R CNN的单株柑橘树冠识别与分割
王辉#韩娜娜1吕程序#毛文华1李沐桐2李林3
(1•中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室，北京100083；
2•广东省现代农业装备研究所，广州510630；3•江苏大学农业工程学院#镇江212013)
摘要：针对在复杂果园背景中难以识别分割单株果树树冠的问题，研究了基于Mok R-CNN神经网络模型实现单株柑橘树冠识别与分割的方法。通过相机获取柑橘园图像数据，利用MokR-CN N神经网络实现单株柑橘树冠的识别与分割，根据测试集的预测结果评估模型的性能和可适应性，并分析模型的影响因素。结果表明：参与建模的果园单株树冠识别分割准确率为97%，识别时间为0.26s#基本上可满足果园精准作业过程中的树冠识别要求；未参与建模果园的单株树冠识别分割准确率为89%，说明模型对不同品种、不同环境的果园具有一定的适应性；与SeyNel模型相比，本文模型准确率、精确率和召回率均约高5个百分点，说明在非目标树冠较多的复杂果园图像中具的识别分割效果%本研究可为对靶喷药、病虫害防护、长势识别与预估等果园精准作业提供重要依据%
关键词：柑橘树冠；MokR-CNN；图像识别；图像分割
中图分类号：TP391.4文献标识码：A文章编号：1000-1298(2021)05-0169-06OSID：
Recognition and Segmentation of Individual Citrus Tree Crown
Based on Mask R-CNN
WANG Hui#HAN NOna#LU Chengxu#MAO Wenhua#LI Mutong2LI Lin3
(1.State Key Laboratory of Soil—Plant—Machine System Technology#
Chinest Academy of Agricultural Mechaniza—oo Sciences#Beijing100083#China
2.Guangdong Inst—ute of Modern Agricu—ural Equipment#Guangzhoo510630#China
3.School o Agricultural Engineering#Jiangst Universit—#Zhenjiang212013#China)
Abstract:Tha topography of tha orchard W vaXablv.Tha plan/ng density of th a fruit twos W O—a#and the-hapeoothecaown i di o eaent.Theaeooae#iti di o icult to aecogni ee the c aown ooan indi eidual oauit taeein acompletoachaad backgaound.A noeelmethod oocaown aecognition and-egmentation ba-ed on Mask R—CNN neural network model was studied.Tha imago data of tha citrus orchard was obtained through tha come—,and tha Mask R-CNN neural network was used to waliza tha racognition and sNgmNntation oothNcaown ooan indieidualcitausplant.ThNaNsNaach aNsultsshowNd that thNaNcognition accuracy of tha individual two crown of tha orchard participating in tha modeling was97%,and tha racogniPon/ma was0.26s,which con basicolly meat tha requirement of two c—wn recognition in tha paocN s oopaNcisNoachaad opNaation.ThNaNcognition accuaacyoothNsingl taNNcaown oothNoachaad not par/cipa/ng/tha modeling was89%,which showed that tha model was suitable for di/ewnt kinds and environments of orchardso Compared with tha SeyNat model,tha accuracy of tha used model was about5 pewontaya points highar,indico/ng that/had a bettor racogniPon and seymenta/on/fact in complex orchard imayas with mo—non-ta—at two cwwns.Therefore,tha wcogn/ion and seymentation method con och/vv rapid and occurato racogniPon and seymenta/on of single two c—wn,wh/h provided an important basio for occurato orchard operations such os taryot spraying,pest protection,growth aecogni ion and p aedic ion.
Key wo S s：ci/us t—a crown；Mask R—CNN；Pnayo rvcogn/ion；Pnayo seymentation
收稿日期：2020—08—04修回日期：2020—09—02
基金项目：广东省重点领域研发计划项目(2019B090922001)和江苏省现代农业装备与技术协同创新中心幵放基金项目(4091600016)作者简介：王辉(1980—)，男，研究员，主要从事农业电气化与自动化技术在农业工程中的应用研究,E-mail：hu/aamsC163
170农业机械学报2021年
0引言
精准管理是现代果业发展的必然趋势，其关键据果园的果树个体，定位、、量开农事作业。冠层尺寸或三维体积是精准管理中非重要的参数，可为对、病虫防护、作物长识别与等提供重要依据，对管控化学药品过量投入、高效利用农业、提高果园生产效益具有重要意义［1
我国大多数果园处于非标准化经营状态，同一果园树的、间距、树龄、树高等均不相同［2*，果园、种植密度不确定，这些增加了在复杂果园背景速识别并分割单株果树冠层的难度。目前，树树冠识别与分割包括超声波）3-4*、激达）5「6*、谱［八8*、机觉和图理［9-10*等％些精准识别分割单株树冠，但是超声波的识别的，激达和谱的成本较高，因此一些学者利用低成本的机觉和图理方
树树冠的识别和分割。传统图理方分割复杂果园背景的识别精度不能满足精园作业需求，研究表明，
深度学高精度识别果园复杂的树枝和果实［11-15*%但J 对单株果树冠层相关分割的研究较少％
Mask R-CN N是文献:16*提出的对复杂背景中目标进行检测与分割的卷积神经网络模型，该模型采用特征金字塔网络（Feature pyramid networks, FPN$［17*与Anchcr技术优化不同尺度目标的检测效果，并结合全卷积网络（Fully ccnvelu/onal networks, FCN）［18*，从而实现的精准分割％Mask R-CNN是先推荐网络产生兴趣，而后进行对象检测和分割的两步探测器。检测准确率高、分割速度，复杂园具确检测树冠、精分割冠层的潜力％
本文构建单株树冠的Mask R-CNN识别与分割模，测确率、精确率、率、精度、等对模，分模的关键因素，提出模，以期实现柑橘单株树冠的精准识别。
1材料与方法
1.1图像采集
本文设计的图像采集平台如图1/所示，将ZED stereo"Stereolabs）相机搭载在手推车上，离地高度为80cm，与，的图像存储算机中%相机参数为视频模式720P、60f/s、单目分辨率1280像素x720像素、深度范围0.5~20m，计算机配置为Windows10、CORE C、8GB内存、GeFo—c940MX%图像采集于广东省广州市从化区和江门市新会区2个柑橘种植园，采集时间为2019年11月，距离保持在90〜130cm，采
，景如图1b所示。广州市从化的柑橘品种为柑，果园地形为，树为自然圆；江柑橘品种为柑，果园为坡地，树形为开％
图1图像采集设备及场景
Fig.1Image ccquisition plat—rm
1.2数据集构建
化园（果园1）地形复杂、杂草茂密，单株树识别度大，柑图1700，构
了数据集D1，其1200图模，200模型验证,300模测试％为了测试模型的，园（果园2）了柑橘图像500幅，构了数据集I，模测试，未参与模％为了对比数据集参与建模与未参与模对识别的影响，构了数据集I，训1400图，包园1图1200、园2图200；验证包园1图200；测
包园2图300%数据构如表1所示％
1
Tab.1Data set structerr
数据点树训练集验证测：
I果园1自然圆头形1200200300
I果园2自然开心形00500
I
园1圆1200200
园2开200300柑橘图像采用LabelMe［19*进行人工手动标注，生成json文％本文主要针对作业的柑橘树冠（树）识别分割，因此制作考虑将柑橘图像分为树冠与背景两类，只注树冠即可，图其他部分LabelMe自动注为背景%如图2所示%
1.3基于柑橘树冠识别与分割算法
基于Mask R-CNN的柑橘树冠识别与分割算法主要由两部分组成：①利用Mask R-CNN
网络识
第5期王辉等：基于Mask R-CNN的单株柑橘树冠识别与分割171
(b)标注结果
图2图像标注结果
Fig.2Image annotation results
别分割图像中的树冠；由于单株树冠背景复杂，图像不株树冠，模识别株树冠%②过滤多余的非树冠，计算每株树冠的面积，面积最大的树冠即为树冠％算如图3所示％
图3算法流程图
Fig.3Algorithm process
1.3.1MaskR —CNN网络
Mask R-CNN由特征提取网络、区域推荐网络(Region proposal network,RPN)、感兴趣对齐层(RoIA/gn)、检测和分割4部分组成%将1的柑橘园图像数据，首先利用卷积神经网络提取特征，RPN推荐存的框(Region of interest,RoS),RoIA/gn将RoS映射成固定尺寸的特征图，特征图通过检测分支的全连接层分类和边界框回归，通过分割分支的FCN
分割图%
特征提网络利卷积神经网络单株树
特征提取和组合%特征提ResNe-01[20-21*，特征深度分为5个阶段，特征图C1〜C5，并
入特征组合阶段%特征组合选用FPN，特征C1〜C5组合生成特征图P2〜P6%组合方式如图4所示% RPN利用Anchcr技术在P2〜P6每层中产生不同尺度和比的RoI，输出每Rol的目标与背景的置信度、边界框的4值，完成
次边界框。根据置信度和非极大值抑制算法(Non-maximum suppression,NMS)[22*选出较为精准的RoS输入到RoIA/gn%
图4特征组合
Fig.4Feature combination
RoSA/gn主要作用是将特征图中的RoS池化为固定尺寸的特征图％RoIA/gn将RoS划分为7x7单元，每单元的原图四周真实利用双线性插值计算该点％过量化作，原图和特征图是全对的，与Faster R—CNN[23*中的RoITooling相比，避免了两次量化导致RO与原位置产生偏差，提高了检测和分割准确率％
检测与分割是对RoSA/gn输出的固定尺寸的特征图分、归和分割%检测分支产生每RoS的类别和边界框；分割分支针对每个RoS产生K个分辨率为m xm的二值掩膜,K为分类物体的种类数目％Mask R-CNN数厶碍表示为
$loss=L ts+L by+L mask(1)式中,$心为分值,L bs为边界框回归损失值, L myo为分割值，算分类结果所属类的％1.3.2模
试验平台操作系统为Ubuntu19.04,GPU型号为GTX1060、运行内存为8GB，显存容量为6GB%本文所有模测此％采用随机梯度下降(Stcchastic gradient descent,SGD)训Mask R-CN N模型(数据集为I)，模具体流程如下：①加载和验证集图像数据，建立原图像和的对应关系％②模型配置参数，包括图像分类数目、图像输入尺寸、RPN的Anchor 尺度、学率、步长等参数％③加载MC—so/COCO 数据模型％④设置迭代次数，训练模型并利用验证集验证模型的损失值％⑤据和验证值，重复步骤②〜④，最模型％⑥利最模对测的柑树测，算树冠的面积，过滤非树冠％⑦根据树-
172农业机械学报2 0 2 1 年
算评价指标，评估模型性能。
最优模型的参数设置为：学习率为0.001、权重 衰减率为0- 000 1、动量值为0. 9、IoU 为0.7、迭代轮 数为100 (每轮100次),RPN 的Anchor 尺度为48、
96、-92&384&768 %
1.4模型评估
为了研究预测树冠与标注树冠之间的匹配程
度，采用准确率(Accuracy , A  )、精确率(Precision  ,
P )、召回率(Recall , R)、调和平均数(F # score )作为
价 [24 *，计算公式为
A =7； +N T -h100 %
(2)P T 1
U h  100 %
(3)
R
T 1
=N —
h100%
(4)F 1 =
2 PR (5)
P  +R
式中8一一图像中预测树冠与标注树冠匹配像素数
(a)果园1，过滤前(c)果园2，过滤前(d)果园2，过滤后
，
人工标注
模型预测结果，人工标注 模型预测结果，人工标注 模型预测结果
，人工标注 模型预测结果
(b)果园1，过滤后
图5过滤前后对比图
Fig. 5 Comparison  before  axd  after  filtra/ox
表2参与建模和未参与建模果园的预测结果
Tab. 2 Test  rrsplts  of  orchard  with  and  witUout
particination  Si  modelisg
价
；
D -D 2
D 3
准确率/%
97
8993
精确率/%
9184
87召回率/%
918587调和平均数/%
918487识别时间/S
0.26
0.26
0.26
精确率和召回率均在84%〜89%之间，略低于D #,
本测
表明模型对于不同果园
的单株树
识别分割具 的
，可实现未参与建模
果园的单株树冠的精准识别与分割％模 对D #和
T &一一图像中预测背景与真实背景匹配像素数
O 一-一图 总数
O ——图
测树冠像素数
N e ----图
注树 数
2结果与分析
2. 1参与建模与未参与建模果园的预测结果对比
用构建的模型对数据集D #和I 测试集中的柑 橘树冠进行预测，根据树冠面积过滤非目标树冠，过
滤前后对比如图5所示。由图5可以看出，过滤前
图 识别 树冠，过滤 树冠%
据 树冠的识别和分割 算准确率、精确
率、
率和调和
数，如表2所示。由表2可以
,D #测试集的准确率、精确率和召回率均达到
91 %
，表模
实现参与建模果园的单株树
冠的精准识别与分割；数据集I 未参与建模，并且 与D # 理置、 、柑品种和树形等 存
的 ，但是I 测
的单株树
确率、
I 测试集中的单幅图像识别时间均为0. 26 s ，因此
满足对 、病虫防护、作物 识别等作业
的实 求％
为了 步对比参与建模与未参与建模果园图的识别
，利数据集D.重
模型，模
参数与最优模
持 。用构 的新模型对D 3
的300幅测 图
的柑橘树
测，结果
如表2所示，相
数据集D 2的 确率提高了 4个
百分点，精确率和调和
数提高了 3个百分点，召
回率提高了2个百分点％此 表 园参与建模
的识别效果，应使模
包
含不同的果园，增数据
％
所述，参与建模果园与未参与建模果园相
第5期王辉等：基于Mask R-CNN的单株柑橘树冠识别与分割173
比，单株树冠预测结果的准确率、精确率和召回率
高，识别分割效％因此，研究中将增加模
数据，包括品种、、高度、树龄、
、相机角度等，使测的数据存
数据集中。针对模园作业的情
，模过增加作业果园图像，以提高模
型识别和分割％
2.2与SegNet模型预测结果对比
SegNet25*与Mask R-CNN同样是基于FCN的
语义分割网络，结构简单，在道景分割、行人检
测和工检测等高的准确率，因此
将SegNet模型对树冠识别效果与本文对比%SegNet
主要包括编码(Encedcr)和解码(Dcccdcr)2个过
程％Encoder(程中，利卷积提取
特征；在Decoder(，利卷积，变
大图像丰富信息，使Pooling(程丢失的信息可
以通过学习在Dcccdcr中得到。SegNet中的卷积与
传统CNN的卷积另0%2种模型识别结果
如图6所示，SegNet模型背景的误识别％
—人工标注—模型预测结果—人工标注—樓型预测结果
(a)本文模型(b)SegNet模型
图62种模型预测结果对比
Fig.6Comparison of prediction results of two algorithms
未识别的网络
表3为本文模型和SegNet模型在数据集I和
I测的评价，SegNet模型的率
高于精确率，进一步说明SegNet模型更容易将背景
误识别为树冠；并且与本文模型相比准确率、精
表32种模型评价指标结果对比
Tab・3Comparison of rvaleation Sdex results of
two a tgor st im e
评价指标-
本文模型SegNet模
D1I I I
准确率/%97899384精确率/%91848579率c%91858680调和平均数/%91848579识别时间/r0.260.260.2
60.26确率、召回率低约5个百分点，识别分割效果略差，表明本文模型相SegNet模的识别分割效%
2.3模型影响因素分析
过对确率和和数图的
分，确模的因%确率和和
数图像(图7)的主2点：①图像树冠树、，健康状态％②非：树冠占比，树边缘不，且图像线暗、饱和度低，人工标注树度已较大%因此，模的因为树态、非树占比、光线强度％图树冠和非树度所不同，在接的研究中将E 利3D相机，图度，提高单株树
识别确率%
—人工标注—模型预测结果—人工标注—樓型预测结果
(a)果园1(b)果园2
图7准确率低的图像分割结果
Fig.7Predictiox image with low occuroce
3F
(1)构建的基于Mask R-CNN单株树冠的识别与分割模型，能精准快速识别并分割复杂环境下的单株柑橘树冠，基本满足果园精准作业过程的树冠识别要求％分割参与建模的果园树冠，准确率为97%，识别时间为0.26s%该模型对不同品种、不同的果园具的，对参与建模的柑品种和不同的园测确率为89%%
(2)与SegNet模型相比，本文模型准确率、精确率和率高5百分点，非树的复杂园图具的识别分割效%
(3)所模的因为树态、非
树冠占比线强度％研究中将利用3D 相机，图度，步提高单株树识别确率%
参考文献
)1*刘爱民，封志明，徐丽明.现代精准农业及我国精准农业的发展方向[J].中国农业大学学报，2000，5(2)：20-25.
LIU Aimix，FENG Zhimixg，XU L imixg.The modem p—cisiox agricufure and tcchxologicol system)J*.Journal of Chixe Agricultural Uxiversity,2000，5(2):20-25.(ix Chixese)
)2*王永振，樊桂菊，张昊.果园作业平台的研究现状及发展趋势)J].中国果树，2018(1)：105-108.
)3*王万章，洪添胜，陆永超，等.基于超声波传感器和DGPS的果树冠径检测)J*.农业工程学报，2006，22(8)：158-161.
WANG Waxzhaxg，HONG Tiaxshexg，LU Yoxgchco，et at.PeOormaxce of Wee caxopy diameter mevsuremext based ox