随着我国农业自动化的发展,多旋翼植保无人机(UAV)越来越多地应用于农药喷洒等领域。相对于人工喷洒,多旋翼植保无人机的喷洒效率大大提高,尤其是对于复杂地形环境的农药喷洒,植保无人机具有更大的优势,但复杂的农田环境也对植保无人机的避障性能提出了更高的要求。全手动遥控操作植保无人机喷洒与人工辅助遥控半自动喷洒时均需要飞手判断障碍物距离并手动避障,当障碍物距离飞手较远时,飞手通常难以判断障碍物距离,这会导致漏喷和发生撞机。因此,农用植保无人机的自主避障是亟待解决的问题。传统植保无人机利用激光雷达、红外线、超声波等传感器进行障碍物检测[1,2,3],通过传感器测距,实现无人机在障碍物前的悬停,自主避障能力较弱。何守印提出的利用双目相机与激光雷达进行多传感器数据融合实现无人机避障[4],虽能实现自主避障,但需要进行相机标定、立体匹配、三维重建及路径规划等多个步骤,中间某一环节出现问题将会导致无人机避障失败,且整体实现过程极其繁琐。Mengzhen HUO等人提出的模仿鸽子避障的仿生避障方式[5],通过寻找障碍物间的最大间隙进行避障,具有一定的可行性,但目前发展不成熟。

为此,针对农田中树木、房屋、电线杆等常见障碍物,提出一种基于深度学习的端到端农用无人机自主避障系统。端到端即无需中间多阶段处理,以植保无人机上携带的双目相机获取的图像作为多层卷积神经网络(Convolutional Neural Networks, CNN)的输入,输出无人机的期望姿态角(滚转角、俯仰角、航向角)与油门量[6,7]。与其他避障方式相比,笔者的自主避障方式具有系统精简、环境适应性强、系统鲁棒性高等优点,且植保无人机能够随着飞行训练时间的增加,避障能力获得增强,易于推广至复杂环境下应用。

1、自主避障系统的搭建

无障碍物时,农用植保无人机自主飞行作业姿态角和油门量由飞控根据航点信息计算得出;有障碍物存在时,植保无人机搭载的双目立体相机(ZED)实时检测障碍物距离[8,9],当植保无人机距离障碍物≤5m时,植保无人机悬停并进入自主避障模式。此时,无人机的姿态角与油门量由自主避障系统给出,自主避障系统的输入为双目立体相机采集的图像,左右相机获取的图像经图像处理与数据增强后分别输入卷积神经网络,两套卷积神经网络各自输出一个三维向量(γ,θ,φ)与一个浮点数m。其中,(γ,θ,φ)为无人机的期望姿态角(欧拉角),包含滚转角γ、俯仰角θ、航向角φ;浮点数m为无人机的期望油门量。将两个卷积神经网络(CNN)输出的姿态角与油门量取平均后发送给无人机飞行控制系统,控制其飞行。若某一个期望姿态角或油门量为异常值,则直接舍弃,只使用另一摄像头获得的期望值作为无人机的输入。采用双摄像头可使在一侧摄像头遇到遮挡、强光照射等恶劣情况时整体系统能够正常运行,且当单侧摄像头获取的图像使系统产生严重误判时,另一侧摄像头能及时给予修正,能够大幅提升训练效率与训练效果。

1.1双目测距原理

双目相机成像原理图如图1所示。

图1双目相机成像原理图

图1中,基线距B为左右相机投影中心连线的距离,相机焦距均为f。对于空间点P(xc,yc,zc),其在左右图像中的坐标分别为Pl=(Xl,Yl),Pr=(Xr,Yr)且Yl=Yr=Y。根据相似三角形原理可得

公式1

左右相机视差D=Xl-Xr,故点P(xc,yc,zc)在相机坐标系下的三维坐标为

公式2

其中,zc为空间点与双目相机的的距离信息,即为障碍物上一点与植保无人机的距离。当zmin≤5m时,无人机悬停并进入自主避障状态,无人机期望姿态角与油门量将由自主避障系统给出,直至zmin>5m。

1.2卷积神经网络的设计

卷积神经网络(CNN)为农用植保无人机自主避障系统的核心,其利用实际手动飞行过程中采集的数据进行训练,训练过程中通过均方误差(mean-squared error)构成的损失函数计算损失值,并反向传播给CNN,进行CNN的调整。训练完成后,将训练好的卷积神经网络模型迁移至空中端植保无人机上,进行自主避障飞行。CNN训练及使用过程框图如图2所示。

图2卷积神经网络的训练和使用

两个CNN均包括输入层、4个卷积层、3个全连接层及输出单元。双目相机拍摄的原始图像经过预处理后转为YUV(YCbCr)格式的81×145大小的图片输入网络,并经过2个卷积核大小为5×5的卷积层和2个卷积核大小为3×3的卷积层,经过每层卷积层后特征数增多,特征数分别为24、36、48、64;经过卷积层后到全连接层,3个全连接层的神经元个数分别为800、70、20;最后,输出姿态角和油门量。CNN结构如图3所示。

图3卷积神经网络示意图

1.2.1卷积层的设计

卷积层(Convolution Layer)通过卷积核在输入矩阵滑动的方式进行图像输入的特征提取,文中CNN的第一层卷积层的输入图片数据尺寸为高度H=81,宽度W=145,卷积核大小为5×5,即F=5,滑动步长S=2。进行特征提取时,对输入矩阵边缘进行零填充,卷积层零填充选取P=2。输出图片尺寸的计算公式为

H′=H−F+2PS+1 (3)

W′=W−F+2PS+1 (4)

将第一层卷积层中各参数代入得H′=41,W′=73。

故输出数据尺寸为41×73×24,且24为卷积核个数。后续卷积层滑动步长S分别为2、2、1,零填充P分别为2、2、1,后续卷积层输出可由式(3)、式(4)得出,其数值分别为:21×37×36,12×20×48,12×20×64。

1.2.2激活函数的选取

为增加卷积神经网络的非线性,自主避障系统引入激活函数(Activation Function),常用的激活函数包括非线性激活函数(sigmod)、ReLU(Rectified Linear Units)激活函数和ELU(Exponential Linear Units)激活函数等。函数表达式分别为

sigmod:f(x)=11+e−x (5)

3种激活函数的函数图像如图4所示。

图4常用激活函数图

ELU激活函数兼具sigmod激活函数和ReLU激活函数的优点,能缓解梯度消失,且具有软饱和性,鲁棒性强,受输入中噪声的影响小。此外,ELU的输出均值接近0,能够使网络更易收敛,且收敛速度更快,故本文中卷积神经网络使用ELU激活函数。

1.2.3全连接层的设计

卷积神经网络为3层全连接层,神经元个数分别为800、70、20。全连接层(Fully Connected Layer)将4个卷积层提取到的图像特征进行整合,通过向量的点积运算最终输出一个4维向量(γ,θ,φ,m),并将(γ,θ,φ,m)拆分成(γ,θ,φ)和m作为植保无人机的动作期望值。

在训练过程中,卷积神经网络(CNN)输出的(γ,θ,φ,m)与实际飞行中的真实值进行对比,用均方误差函数(MSE)衡量损失,卷积神经网络的优化目标是使均方误差尽可能小,即预测值与实际值更接近。均方误差损失函数公式为

MSE=∑i=1n(yi−ypi)2n (8)

其中,yi为真实值;ypi为预测值;n为每次计算均方误差选取的样本数,即采集n个样本计算一次均方误差。将γ、θ、φ、m分别代入均方误差函数中的yi,设定均方误差阈值,当均方误差求得的损失值大于其阈值时,进行网络权重的调整,直至满足要求。

1.2.4参数初始化

卷积神经网络神经元的权重为超参数,参数的初始化值对模型的训练速度与训练效果有较大影响。一般情况下,神经元输入数据与输出数据二者方差一致时卷积神经网络收敛速度最快。神经元权重ω与输入x之间的内积为s=∑niωixi,n为神经元个数。s的方差推导公式为

公式9

为使Var(s)=Var(x) ,需使Var(ω)=1/n。文中植保无人机自主避障系统采用Var(ω)=1/n的权重初始化方式。

2、输入图像预处理

2.1图像归一化

双目相机采集的图像输入卷积神经网络之前需要进行图像归一化,图像归一化能够减少图像后续几何变换带来的影响及仿射变换的影响,且能够加快梯度下降求最优解的速度。本文选用最大最小值归一化方法,其公式为

norm=xi−min(x)max(x)−min(x) (10)

其中,xi为图像像素点值,min(x)、max(x)分别为图像像素的最大与最小值。

2.2图像转换

双目相机获得的原始图像为RGB三色图,RGB三色图中亮度与色度信息未分离,会使光照强度不同时图像特征提取受到影响,为减少这一影响,将RGB图像转换为YUV(YCbCr)图像[10]。RGB转YUV的转换公式为

⎡⎣⎢YCbCr⎤⎦⎥=⎡⎣⎢16128128⎤⎦⎥+⎡⎣⎢0.2568−0.14740.43920.504−0.291−0.36780.12370.4392−0.0714⎤⎦⎥⎡⎣⎢RGB⎤⎦⎥         (11)

2.3数据增强

为增加卷积神经网络训练集的数据量,需要进行数据增强,即通过对原始图片的变换来提高模型的鲁棒性与泛化能力。为此,通过水平翻转、随机裁剪、平移、加噪的方式进行数据增强。其中,进行水平翻转时,植保无人机的滚转角也进行相应的翻转。图像处理过程如图5所示。

3、实验结果分析

3.1实验环境

实验环境分为地面端和空中端,地面端电脑操作系统为Ubuntu18.04,GPU为RTX2080Ti,内存为64G,深度学习框架为TensorFlow。空中端无人机飞控为Pixhawk,微型电脑为TX2,GPU为NVIDIA PascalTM GPU,内存为8G,深度学习框架为TensorFlow,相机为ZED双目立体相机。

图5图像预处理

无人机手动飞行时采集图片与自身姿态角和油门量信息,由地面端电脑进行训练,训练过程利用GPU加速,提高训练速度。为防止过拟合,在卷积神经网络的全连接层加入随机失活(DropOut)。模型权重训练完成后,将其移植到空中端微型电脑NVIDIA JetsonTM TX2。TX2采用NVIDIA PascalTM GPU,其CUDA算力可达6.2,完全满足使用要求,且TX2尺寸仅为50mm×87mm,安装在无人机上占用空间很小。TX2的载板为RTSO-9003,用于给TX2供电及与无人机控制端进行通信,载板的信号输出(TX)和信号输入(RX)与无人机飞控端数传接口(TELEM2)进行连接,用于信息交互。

由于无人机顶端视野更为开阔,且进行图像采集时不受无人机桨的旋转影响和无人机脚架的视野遮挡影响,故将ZED双目立体相机安装于无人机的顶端。由于ZED相机采集图像时易受震动影响,故在其下端安装减震棉,旨在保证相机与无人机姿态角同步的情况下过滤掉因飞行控制系统与外界环境引起的微小震动,以保证采集的图像质量。自主避障系统启动后,ZED相机实时采集的图像经预处理后输入给TX2中卷积神经网络,预测出姿态角和油门量传给无人机飞控,作为无人机的姿态期望值,以此控制其飞行。无人机顶端的GPS模块在进行避障和训练过程中仅用于飞行位置记录,不将其获取的信息输入给无人机控制系统。

3.2实验场景

实验在植保无人机作业时常见的障碍物树木、房屋、电线杆3种障碍物周围分别进行。图像采集频率为30Hz,计算所得姿态角与油门量频率也为30Hz,与无人机飞行控制系统的姿态角、油门量采集频率一致,无需再进行相应的频率转换。为便于实验,采用小型无人机进行数据采集与训练,训练结束后,将模型迁移至农用植保无人机。实验时,在房屋、树木、电线杆周边进行手动避障飞行,采集所需的图像信息进行训练,并用小型无人机和农用植保无人机在训练场景与野外相似场景分别进行自主避障测试,实场景如图6所示。

图6实验场景图

实验所用小型无人机与野外飞行测试所用农用植保无人机,如图7所示。

3.3实验结果

实验利用小型无人机在房屋、树木、电线杆周围进行手动避障飞行30次,选取自主避障阶段29 120张图片,经数据增强后双目共116 480张图片。经过地面端电脑训练后,将模型迁移至小型无人机和植保无人机,并分别在相同环境和野外相似环境进行30次自主避障测试。测试结果如表1所示

图7实验用无人机

表1实验测试结果

对测试结果进行分析可知:小型无人机和植保无人机在不同场景下具有73%～93%的避障成功率,避障成功率较高,且在野外相似障碍物环境下,避障成功率也在80%左右,说明模型具有一定的泛化能力。

由于无人机自主避障时无需转动航向,为了减少计算量,无人机采用固定航向方式飞行,卷积神经网络只需计算姿态角中的俯仰角与滚转角。选取小型无人机在房屋周围进行手动避障与自主避障成功的俯仰角、滚转角、油门量、位置信息平均值进行对比,油门量的对比采用更直观的飞行高度进行对比,结果如图8所示。

由图8可知:当自主避障成功时,卷积神经网络预测的姿态角与油门量与手动避障时的数值拟合程度较高,表明自主避障系统具有一定的可靠性;自主避障各曲线波动相对较大,表明自主避障系统不断调整无人机姿态期望值,以此达到避障目的。

图8自主避障与手动避障对比图

4、结论

提出了适用于农用植保无人机的基于深度学习的端到端无人机自主避障系统,经实验验证,该避障方式具有可行性。与其他避障方式相比,该方式具有避障成功率高、无需多环节处理、系统鲁棒性高和环境适应性强等优势。此外,该方式具有泛化能力,适当训练后可用于农田复杂环境下的自主避障。目前,该方式仅在农田常见的房屋、树木、电线杆障碍物环境下进行避障训练与测试,后续需进行更多场景的飞行训练及卷积神经网络的改进,以提高农用植保无人机的环境适应性与自主避障成功率。

参考文献：

[3]任耀庭.基于超声波测距与图像信息相融合的旋翼无人机避障算法研究[D].成都:电子科技大学,2016.

[4]何守印.基于多传感器融合的无人机自主避障研究[D].北京:北京理工大学,2016.

[6]耿特,严军鹏.基于卷积神经网络(CNN)的无人车避障方法[J].工业控制计算机,2019,32(2):61-64.

[7]张子容.基于单片机控制的农用无人机导航研究[J].农机化研究,2020,42(3):240-244,248.

[8]刘锐,陈凤翔,陈科羽,等.基于双目视觉的障碍物检测方法研究[J].计算机测量与控制,2018,26(12):67-71.

[9]任艳霞,屈科科.基于双目视觉系统的农用无人机导航算法研究[J].农机化研究,2020,42(4):227-230.

[10]郑仕伟,韩俊刚.基于深度学习的非接触掌纹识别方法[J].微电子学与计算机,2018,35(4):98-102.

李继辉,白越,裴信彪,吴和龙.基于深度学习的农用无人机自主避障研究[J].农机化研究,2021,43(03):1-7.