DOI: 10.3724/SP.J.1006.2022.11053
张少华1段剑钊1,2贺利1井宇航1Urs Christoph Schulthess 2,* Azam Lashkari1,2郭天财1王永华1冯伟1,*
1 河南农业大学农学院/ 省部共建小麦玉米作物学国家重点实验室，河南郑州450046；
2 International Maize and Wheat Improvement Center (CIMMYT),Texcoco, Mexico
摘要：作物产量估测关系到人民生活质量和国家粮食安全问题，在田块尺度下及时准确估算产量，对于农事操作管理、收获、销售及种植计划制定均具有重要意义。选择地势起伏及空间差异较大的农田为研究区，利用低空无人机遥感平台搭载多光谱相机、热红外相机和RGB相机，同步获取小麦关键生育时期的无人机遥感影像，并提取光谱反射率、热红外温度和数字高程信息。首先统计不同地形特征下遥感参数和生长指标的空间变异情况，分析植被指数和温度参数与小麦产量的相关性，然后利用多元线性回归(multiple linear regression, MLR)、偏最小二乘回归(partial least squares regression, PLSR)、支持向量机回归(support vector machine regression, SVR)和随机森林回归(random forest regression, RFR) 4种机器学习方法以单模态数据和多模态遥感信息融合两种方式进行建模，比较单模态数据和多模态数据融合的产量估测能力。结果表明，坡度是影响作物生长和产量的重要因子，3个生育期内，不同坡度等级下遥感参数差
异明显，土壤含水量、植株含水量和地上部生物量与坡度的相关性均达显著水平，植被指数和温度参数与产量的相关性均达显著水平。依据与产量的相关性，筛选7个植被指数(NDVI、GNDVI、EVI2、OSA VI、SA VI、NDRE、WDRVI)和2个温度参数(NRCT、CTD)作为模型输入变量，对于单模态数据而言，对产量的估算效应为植被指数> 温度参数，以灌浆期植被指数的RFR模型效果最好(R2=0.724, RMSE=614.72 kg hm‒2，MAE=478.08 kg hm‒2)；对于双模态数据融合来说, 在植被指数基础上融入冠层温度参数表现最好，开花期RFR模型效果进一步提高(R2=0.865, RMSE=440.73 kg hm‒2，MAE=374.86 kg hm‒2)；在双模态数据基础上引入坡度信息进行三模态数据融合，其产量估算效果明显优于单模态和双模态数据融合，其中以开花期植被指数、温度参数和坡度信息融合的RFR估算效果最好(R2=0.893, RMSE=420.06 kg hm‒2，MAE=352.69 kg hm‒2)，模型验证效果较好(R2= 0.892, RMSE=423.55 kg hm‒2，MAE=334.43 kg hm‒2)。可见，在本试验条件下通过引入地形因子，结合随机森林回归算法将多模态数据有效融合，可充分发挥不同遥感信息源之间互补协同作用，有效提高了产量估算模型的精度与稳定性，为作物生长监测及产量估算提供思路参考和方法支持。
关键词：冬小麦; 无人机; 产量估算; 地形因子; 多模态数据
Wheat yield estimation from UAV platform based on multi-modal remote sensing data fusion
ZHANG Shao-Hua1, DUAN Jian-Zhao1,2, HE Li1, JING Yu-Hang1, Urs Christoph Schulthess2,*, AZAM
本研究由国家“十三五”重点研发计划粮食丰产增效科技创新项目(2018YFD0300701)，财政部和农业农村部-国家现代农业产业技术体系建设专项(CARS-03)和河南省科技攻关项目(212102110041)资助。
T his study was supported by the National ―13th Five-Year‖ Key Research and Development Program of China (2018YFD0300701), the China Agriculture Research System of MOF and MARA (CARS-03), and the Key Technologies Research & Development Program of Henan Province, China (212102110041).
* 通信作者(Corresponding authors): Urs Christoph Schulthess, E-mail: U.; 冯伟, E-mail: fengwei78@126
第一作者：E-mail: 159********@163
Received (收稿日期): 2021-06-02; Accepted (接受日期): 2021-10-19; Published online (网络出版日期): 2021-11-26.
URL: knski/kcms/detail/11.1809.S.20211125.1758.002.html
Lashkari1,2, GUO Tian-Cai1, WANG Yong-Hua1, and FENG Wei1,*
1 Agronomy College of Henan Agriculture University / State Key Laboratory of Wheat and Maize Crop Science, Zhengzhou 450002, Henan, China;
2 International Maize and Wheat Improvement Center (CIMMYT),Texcoco, Mexico
Abstract:Crop yield estimations are important for national food security, people, and the environment. Timely and accurate estimation of crop yield at the field scale is of great significance for crop management, harvest and trade. It ultimately enables farmers to optimize inputs and economic return. We selected an irrigated wheat field in a region near Kaifeng, Henan province, for this study. The terrain in that region is undulating and spatial differences. We used a low-altitude unmanned aerial vehicle (UAV) remote sensing platform equipped with a multi-spectral camera, thermal infrared camera, and RGB camera to simultaneously obtain different remote sensing parameters during the key growth stages of wheat. Based on the extracted spectral reflectivity, thermal infrared temperature, and digital elevation information, we calculated the spatial variability of remote sensing parameters, and growth indices under different terrain characteristics. We also analyzed the correlations between vegetation indices, temperature parameters and wheat yield. By means of four machine learning methods, including multiple linear regression method (MLR), partial least squares regression method (PLSR), support vector machine regression method (SVR), and random forest regression method (RF
R), we compared the yield estimation capability of single-modal data versus multimodal data fusion frameworks. The results showed that slope was an important factor affecting crop growth and yield. We observed significant differences in remote sensing parameters under different slope grades. Soil water content, water content of plants, and above-ground biomass at the three growth stages were significantly correlated with slope. Most of the vegetation indices and temperature parameters of three growth stages were significantly correlated with yield as well. Based on the strength of their correlation with yield, seven vegetation indices (NDVI, GNDVI, EVI2, OSA VI, SA VI, NDRE, and WDRVI) and two temperature parameters (NRCT, CTD) were selected as the final input variables for the model. For the single-modal data framework, the model constructed with the vegetation indices was better than the yield model constructed with the temperature parameters, and the highest accuracy was obtained with a RFR model based on vegetation indices at filling stage (R2 = 0.724, RMSE = 614.72 kg hm‒2, MAE = 478.08 kg hm‒2). For the double modal data fusion approach, the highest accuracy resulted at flowering stage, using the temperature parameters combined with the vegetation indices of RFR model (R2=0.865, RMSE=440.73 kg hm‒2, MAE=374.86 kg hm‒2). Even higher accuracies were obtained, using the multimodal data fusion approach with a RFR model based on vegetation indices, temperature parameters and slope information at flowering stage (R2 = 0.893, RMSE = 420.06 kg hm‒2, MAE = 352.69 kg hm‒2), and the highest validation model (R2 = 0.892, RMSE = 423.55 kg hm‒2,
MAE = 334.43 kg hm‒2) for fusion of the flowering stage. The results revealed that by using a multimodal data fusion framework of terrain factors combined with RFR, we can fully exploit the complementary and synergistic roles of different remote sensing information sources. This effectively improves the accuracy and stability of the yield estimation model, and provides a reference and support for crop growth monitoring and yield estimation.
Keywords: winter wheat;unmanned aerial vehicle (UAV); yield estimation; terrain factor; multimodal data
小麦作为我国主要的粮食作物之一，是北方居民的最重要口粮品种。在我国人口压力大与耕地面积不足的大背景下，小麦精确估产对国民经济发展、粮食政策制定和粮食市场调节等均具有重要意义[1-2]。传统的田间调查估产方式因周期长、效率低、代表性差而表现不佳，严重影响了各级政府及农技部门对农业生产的指导及政策的制定[3-4]。随着遥感技术的快速发展，新型遥感估产技术应运而生，以其―快速、高效和便捷‖特点备受关注，通常遥感估产主要通过地面尺度和卫星尺度，近地遥感技术检测精度高，但因监测范围有限，估产效率大大降低；而卫星遥感适用于大面积作物监测，但运行周期长、分辨率较为粗糙，导致监测精度有待提高[5]。近年来，无人机低空遥感技术快速发展，因其高分辨率、高灵活性和高准确性使得精准估产成为可能[6-7]。无人机遥感平台可以自由搭载高光谱相机、多光谱相机、数码相机、热红外相机和激光雷达等传感器，从不同传感器上可以实时高频次获取光谱、纹理、热红外张少华
、植被盖度、冠层结构以
及高程等数据信息。因此，利用低空无人机遥感技术可以实时快速精准获得作物生长状态及产量状况，为作物种植计划制定及栽培调控提供信息支持[8-12]。
前人关于无人机遥感单模态数据的产量估算主要通过植被指数实现，朱婉雪等[13]采集多光谱影像构建了不同植被指数与小麦产量的线性模型；程千等[14]利用多时相植被指数通过偏最小二乘法、支持向量机和随机森林回归模型对小麦产量进行估算。由于小麦生长和产量形成是多种因素共同作用的结果，利用多类型数据源融合进行作物产量估算是提高估测精度的一种很好的方法。刘畅、Fu等[15-16]利用光谱特征和多尺度纹理特征相结合较好地估算了小麦产量和生物量。Elsayed等[17]利用偏最小二乘法将光谱指数、温度参数和植株含水量等数据融合，小麦产量的估测效果进一步得到改善, Rischbeck等[18]利用偏最小二乘法将光谱信息、温度参数以及株高相结合，有效提高了大麦产量的估测精度。Maimaitijiang等[19]利用RGB信息、光谱反射率及温度参数等多模态数据，结合深度神经网络方法准确估测了大豆产量。综上，不同遥感数据源信息表征作物生长不同特征，多源信息综合使用、互相补充可增强估算模型的精度和准确性。
农业生产上，农田地形异质性使得水分、养分和物质能量等分布不均匀，严重影响作物生长发育[20]。地形起伏主要影响土壤水分的分布，进而引发养分的再分配，造成植株水分和养分供应的时空差异；此
外，不同地形会造成作物冠层温度和湿度差异，同样会影响作物体的生长发育[21-22]。因此，利用遥感技术监测作物长势和估产时，如能引入地形因子或许可以提高模型准确性。张新乐等[23]利用植被指数结合地形因子，构建逐步多元回归和神经网络多层感知反演模型，有效提升了对大豆生物量的预测。侯淑涛等[24]分析地形对大豆产量的影响，运用作物生长模型DSSAT模拟不同地形上的产量变异具有可行性，这说明将地形因子作为一个有效变量来建模以提高模型精度是可行的，但目前将地形因子、植被指数和温度参数等多源数据融合进行作物产量预测研究还相对较少，特别是在小麦作物上研究更少。
为进一步提高小麦产量的估算精度，本研究使用无人机遥感影像获取播种前的田块数字高程信息(DEM)，并在小麦生长关键时期获得红外热成像和光谱图像，进而提取出与小麦长势相关的植被指数、冠层温度和坡度等信息。利用不同建模算法(MLR、PLSR、SVR和RFR)构建基于植被指数、温度参数及地形因子相融合的小麦产量估算模型，比较不同算法和模态数据间产量估算效果，优化基于多模态数据融合的小麦产量估算模型及方法，为小麦产量的精确估算提供方法依据和技术参考。
1 材料与方法
1.1 研究区概况
本研究冬小麦试验区位于河南省开封市杞县(34°41′11″N，114°48′34″E)，该区域属于暖温带大陆性季风气候，年平均气温14.5℃，年均降雨量673 mm。试验田采用统一的种植方式、水肥管理及病虫防治，
土壤为潮土类型，地势起伏明显，田块中坡顶与坡底的最大落差为6.65 m，田块内部土壤水分的空间分布差异明显，孕穗期土壤平均含水量在2°~4°坡度为0.16、4°~6°为0.13和6°~8°为0.12，开花期土壤平均含水量在2°~4°坡度为0.17、4°~6°为0.15和6°~8°为0.11，灌浆期土壤平均含水量在2°~4°坡度为0.14、4°~6°为0.10和6°~8°为0.07。
1.2 地面数据获取
于2020年冬小麦孕穗期(4月7日)、开花期(4月26日)和灌浆期(5月12日)对冬小麦取植株样，每个样点取0.2 m2小麦植株，称取鲜重后，105℃杀青30 min，80℃下烘干至恒重，计算植株含水量。以上3个取样日期均避开降雨和灌水，以避免温度测定随机性的影响。土壤含水率的测定：用土钻取0~20 cm，20~40 cm土层土样装入铝盒，采用传统的土壤干燥法在105℃下烘干至恒重，计算土壤样品的含水率。
于小麦成熟期测产，为保证采集的数据均匀且具代表性，依据地块位置及地形分布，选取测产样点如图1所示，并用GPS记录采样点的中心坐标，样点测产面积为4 m2，采集60个样点。
图1 研究区位置及样点分布
Fig. 1 Location of the research areas and experiment designs
1.3 无人机平台数据的获取及处理
在小麦植株取样的同时获取无人机平台的多光谱和热红外数据。使用Matrice600PRO 大疆六旋翼无人机与Ronin 系列云台，搭载2064像素×1544像素K6机载模块化多光谱相机，该传感器包含蓝光(450)、绿光(550)、红光(685)、红边(725)、近红外(780) 5个多光谱通道和1个4384像素×3288像素RGB 原通道。同时该平台搭载640像素×512像素Thermal Capture 2.0热成像仪获取热红外图像。选择在11:00—13:00，天气晴朗，无风无云的环境条件下进行无人机作业，以避免环境条件的影响。飞行高度90 m ，拍摄方式为等时触发，航向重叠度75%，旁向重叠度70%。拍摄前，使用手持式ASD 对铺设反射率为5%、20%、40%和70%的靶标布进行校准。
1.4 地形数据获取
小麦整地前使用精度为1 cm 的华策实时动态定位(real-time kinematic ，RTK)对研究区域进行打点定位，得到12个经纬度坐标和高程信息。通过Photoscan 将控制点坐标导入无人机RGB 影像中进行拼接，生成RGB 正射图像与高精度的数字高程模型(DEM)，并在ArcGIS 软件中使用Spatial Analyst 工具提取坡度因子，获取研究区地形特征如图2所示。
图2 研究区地形特征
Fig. 2 Terrain features of study fields
1.5 无人机数据处理
1.5.1 热红外影像处理 将获取的小麦各生育时期无人机热红外图像采用ThermoViewer 软件进行图像´GCP Sampling points 025501
2.5
米
´Elevation/(m)
Elevation map High:50.94Low:44.29
Slope map ´
0255012.5米0255012.5米<；值>0-1
1-2
2-3
3-44-55-66-7
7-8Slope/(°
)
筛选与饱和度调整等预处理，将处理好的图像导入Pix4Dmapper 中进行图形拼接，在ArcGIS 中利用RGB 图像作为基准影像对热红外图像进行配准，利用测温获取4块靶标布及近似黑体的水体实际温度对热红外图像进行校准，同步使用矢量文件提取试验小区的冠层温度，如图3所示，统计各样点小麦冠层温度。
图3 开花期冠层温度分布图及实测和预测的冠层温度
Fig. 3 Canopy temperature distribution map measured and estimated crop canopy temperature at flowering stage
1.5.2 多光谱影像处理 将获取的小麦各生育时期无人机多光谱数据采用Pix4Dmapper 软件进行图像拼接以得到试验区的正射影像，利用ArcGIS 软件进行辐射校正和几何校正，制作试验小区shp 矢量文件和buffer 缓冲区，然后计算植被指数并提取各样点的多光谱植被指数。
1.5.3 植被指数和冠层温度相关指数的选取 用于作物产量估算的植被指数种类较多，依据前人结果筛选出适用于无人机传感器通道的10种植被指数和2种冠层温度相关的参数(表1)，以用于构建小麦产量估算模型。
1.6 模型构建及精度验证
选用每个生育时期70%样本量用于建模(n 1=42)，剩余30%样本量用于验证(n 2=18)。采用决定系数R 2，均方根误差RMSE 和平均绝对误差MAE 评价产量估算模型的效果。通常R 2越大，RMSE 和MAE 越小，模型的拟合效果与精度越好。
2R =∑(xi−x̄)2n i=1
(yi−y )2∑(xi−x̄)2∑(yi−ȳ)
2n i=1n i=1 (1) RMSE =√∑(yi−xi )2n i=1n (2)
MAE =∑|yi−xi |
n i=1n
(3) 式中，i 表示第i 个样本点数据，y i 为第i 个样本点的冬小麦表型实测值；x i 为模型算出的第i 个样本点的作物表型预测值，ȳ为实测平均值，x̄为模型估测平均值。
27-28
28.1-29
29.1-30
30.1-31＞31.1CT/(℃)´
0255012.5米R² = 0.9709RMSE=1.44℃25
3035
40
455055602530354045505560
E s t i m a t e d t e m p e r a t u r e (℃)Measured temperature/(℃)
发布评论