首页 > 论文范文 > 社会科学论文 > 科技论文 > 自动化论文 > 基于机器视觉的机器人环境感知技术研究

基于机器视觉的机器人环境感知技术研究

2024-10-21 59 上传者：管理员

摘要：环境感知技术是巡检机器人场景应用的核心技术，对传统单目感知技术存在的环境适应性差的问题，提出了融合雷达感知和视觉感知的双目环境感知技术。通过雷达外参、相机外参、相机内参建立了5个坐标系之间的转换关系，实现了雷达传感与视觉传感之间的有效融合。将其应用于矿井用巡检机器人环境感知中，采用Canny边缘检测算法检测图像边缘，SVM实现图像语义分割。通过样机实验验证了雷达传感与视觉传感融合的双目感知技术对环境的感知能力比较强，感知结果明显优于单独的视觉感知和雷达感知。这对巡检机器人在复杂、恶劣环境下的应用提供了技术支撑。

关键词：
IMU
巡检机器人
机器人技术
机器视觉
环境感知
加入收藏

机器人技术的快速发展使得其在许多领域得到了广泛应用，尤其是在一些特殊环境中发挥着至关重要的作用。为确保机器人在特殊环境下的服役，就必须要具备强大、高效的环境感知能力。巡检机器人作为一类特殊机器人，通过视觉来获取周围环境信息，达到检测目标并快速定位的目的[1]。目前，对机器人环境感知技术的研究是学术界和工业界关注的焦点。赵涛等[2]基于深度学习技术和路径规划算法提出了运用视觉的巡检机器人避障系统，有效提升了巡检机器人的环境感知能力，对实际的电网场景具有良好的适应性；吴亚辉等[3]融合RGB-D深度相机与惯性测量单元(inertial measurement unit, IMU)建立了移动机器人的环境感知系统，并构建了改进的人工势场法避障决策模型，实现了移动机器人在陌生环境下的自主运动；杨静宜等[4]运用机器视觉理论，通过直通滤波、B样条曲线对点云数据进行预处理，并采用SEEDS分割方案划分图像子区域，实现了实际巷道路面的感知，有效提升了矿用巡检机器人的环境感知能力。本文在前人研究的基础上，将雷达和相机信息相融合，构建环境感知网络，并通过试验验证机器人对环境检测的有效性。

1、雷达和视觉融合技术

图1不同坐标系之间转换关系

雷达和视觉融合是将雷达传感器和视觉传感器之间建立联系，通过融合将真实环境下的坐标信息传输到环境感知网络中去。从本质上来讲，雷达和视觉融合就是坐标系转换的过程。雷达和视觉融合共涉及5个坐标系，分别为雷达坐标系、世界坐标系、相机坐标系、图像坐标系和像素坐标系，通过雷达外参、相机外参、相机内参之间建立联系，具体如图1所示。

根据雷达外参建立雷达坐标系和世界坐标系之间的变换关系，设雷达的位置为雷达坐标系的原点Or,探测目标点为Q,如图2所示。

图2雷达坐标系和世界坐标系

由图2可知，探测目标点Q在世界坐标系Ow-XwYwZw下的坐标

式中：r为雷达探测距离；θ为雷达探测角度；H为雷达探测面与XwOwZw面的距离；L0为雷达坐标系与世界坐标系两者之间X轴的距离。

根据相机外参建立世界坐标系和相机坐标系之间的变换关系。世界坐标系下的物体坐标是其在真实世界中的位置，根据设定的坐标原点可以对物体直接定位。相机坐标系用来对物体和相机之间的相对位置关系进行描述，相机坐标系的原点是相机的光心位置。相机坐标系和世界坐标系之间通过平移变换、旋转变换来实现，单纯的平移变换表达式为：

为物体位置在相机坐标系下的坐标；ux、uy、uz分别为世界坐标系和相机坐标系3个平面之间的距离。

如果相机坐标系和世界坐标系之间不仅存在平移操作，同时还存在旋转操作，那么采用齐次变换矩阵M来建立坐标点之间的关系，其数学表达式为[5]:

式中：R为旋转矩阵；T为平移矩阵。

记Rx为绕着X轴旋转，Ry为绕着Y轴旋转，Rz为绕着Z轴旋转，设旋转角度为φ,那么：

根据相机内参，结合相机成像的原理，建立相机坐标系、图像坐标系以及像素坐标系之间的关系，图3为相机成像原理。

图3相机成像原理

由图3可知，相机坐标

和图像坐标

之间存在如下关系，即[6]:

式中：f为相机焦距；M1为相机内参矩阵。

在相机坐标系下，

是相机捕捉到的物体位置。图像坐标系下的每一个像素对应一个坐标

其中u为列方向位置，v为行方向位置。为建立

之间的关系，给出图像坐标系和像素坐标系，如图4所示。

由图4可知，图像坐标系下的坐标

和像素坐标系下的坐标

之间存在如下的关系，即：

雷达坐标系、世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的关系如图5所示。

由图5可知，联合公式(1)、(3)、(5)、(6)实现雷达和视觉的融合。

图4图像坐标系和像素坐标系

图5不同坐标系之间关系

2、环境感知架构

通过摄像机和雷达双传感器来获取移动机器人的周边环境，从而使得周围环境细节更加丰富。考虑到机器人为矿用巡检机器人，选择相对比较便宜的毫米波雷达，其波长为6mm。受到设备自身因素的影响，难免存在雷达点云数据丢帧、摄像机画面缺失的问题，通过在巡检机器人上添加故障保障装置来对存在的异常进行报警[7]。对摄像机和雷达所采集到的原始数据进行处理，提取有用的信息。考虑到巡检机器人主要是在一些非结构化道路上行驶，这使得在所采集的数据中不可避免地存在噪声点，同时所采集到的数据相对比较分散。通过对采集数据的滤波、平滑处理，有效降低计算量。采用Canny边缘检测算法检测图像边缘，具体步骤为[8]:

1)对采集的图像进行高斯平滑降噪处理，减少噪声对图像边缘提取的影响；

2)计算图像的梯度，用梯度去表示图像中像素灰度变化强度和方向，梯度幅值G和梯度方向θ计算表达式为：

式中：Gx为图像在水平方向上的梯度；Gy为图像在竖直方向上的梯度。

3)在梯度方向上保留局部梯度最大的像素，将其它像素设置为0,采用阈值进行边缘跟踪。设定高阈值和低阈值分别为Th和Tl,如果梯度幅值G满足G>Th,那么标记为强边缘；如果梯度幅值G满足Tl≤G≤Th,那么标记为弱边缘；同时，将弱边缘和强边缘相连的弱边缘标记为边缘。

支持向量机(support vector machine,SVM)在图像语义分割任务中可以被用作监督学习算法，特别是在像素级别的分类问题中[9]。利用SVM实现图像语义分割，从而用于移动机器人的环境感知。获取并准备用于训练和测试的图像数据集。这些图像应该包含标签，表示每个像素属于的语义类别(例如道路、建筑物、植被等)。确保数据集足够大，多样性且具有代表性。从图像中提取用于训练SVM的特征，包括颜色直方图、纹理特征、梯度方向直方图等，特征提取的目标是捕获与语义类别相关的信息。将每个像素的标签进行编码，以便输入SVM模型。数据集合按照8:2的比例划分为训练集与测试集，分别用于对模型进行训练学习和模型性能的评估[10]。SVM的目标是找到一个决策边界，使得不同语义类别的像素在特征空间中分隔开。选择高斯核函数和参数进行训练，获取可以用于图像语义分割的模型，并使用测试集评估训练好的SVM模型的性能。使用训练好的SVM模型对新的图像进行语义分割，对于每个像素，模型输出其属于每个类别的概率，然后选择概率最高的类别作为该像素的语义标签。将训练好的模型集成到移动机器人的感知系统中，使其能够实时地对环境进行语义分割。

巡检机器人通过环境感知来确定移动的路径，对巡检机器人的运动控制由3部分组成，分别为环境感知、路径决策、机器人控制。移动机器人对环境的感知通过雷达与摄像机来实现，通过将SVM模型嵌入到决策规划算法中，实现对移动机器人的路径规划，最后实现对移动机器人的运动控制，其具体流程如图6所示。

图6巡检机器人运动控制

3、样机实验

3.1 实验背景

矿用巡检机器人有效代替人工巡检，降低了人员伤害风险。与人工巡检相比，移动巡检机器人具有更高的效率和确保执行巡检任务的一致性。通过巡检收集大量的数据，有效提高矿井的生产效率，降低企业的生产成本。图7为移动巡检机器人矿井巡检场景。

图7履带式移动巡检机器人矿井巡检

3.2 结果分析

矿井环境比较恶劣，在矿井环境下对行人进行检测，对比视觉感知、雷达感知以及视觉与雷达双目感知下的检测结果，如图8所示。

图8矿井环境行人感知结果对比

由图8可知，采用双目感知对黑暗环境下行人的边界感知清晰度更高，而采用视觉感知几乎无法对黑暗环境下的行人边界感知，雷达感知能够对黑暗环境下的行人边界感知，但是整体上不如双目感知的效果。

为了实现对巡检机器人移动路径的规划，需要有效感知黑暗环境下矿井中的车道线、标识牌等。分别采用单目感知(视觉感知或雷达感知)和双目感知来构建感知环境，通过SVM对单目感知和双目感知构建的环境进行目标分割，对比结果如图9所示。

图9感知目标分割对比

由图9可知，采用视觉感知和雷达感知的双目感知所获得的分割结果与真实标签更加接近，其对低能见度场景下的环境感知能力更强。

4、结论

机器人环境感知是巡检机器人自主运动的关键，对传统单目感知存在的感知能力不足问题，提出了雷达感知和视觉感知的双目融合环境感知技术。建立了雷达坐标系、世界坐标系、相机坐标系、图像坐标系以及像素坐标系之间的关系，实现了雷达和视觉的融合。在此基础上采用Canny边缘检测算法检测图像边缘，采用SVM进行图像语义分割。通过对比视觉感知、雷达感知以及双目感知对行人的感知结果以及对感知目标的风格，验证了双目感知相对于单目感知可以获得更加丰富的感知信息，这对巡检机器人的移动决策提供了可靠的信息来源。

参考文献:

[1]李洁静,吴倩,耿轶钊,等.复杂环境下矿用巡检机器人的路径规划方法[J].煤炭技术,2023,42(10):236-239.

[2]赵涛,张翼,赵贤文,等.基于视觉的巡检机器人环境感知和导航避障研究[J].无线电工程,2023,53(8):1883-1890.

[3]吴亚辉,刘春阳,谢赛宝,等.基于视觉深度学习的机器人环境感知及自主避障[J].电子测量技术,2021,44(20):99-106.

[4]杨静宜,赵莉娅,梁月肖.基于机器视觉的矿用巡检机器人环境感知研究[J].煤炭技术,2023,42(9):227-229.

[5]李柯江,黄林,牛新征.基于相机模型投影的多目标三维人体跟踪算法[J].计算机应用与软件,2022,39(1):168-175.

[6]王海亮,陈登旭,刘吉,等.基于单目视觉的矩形靶面弹着点测量[J].应用光学,2021,42(1):131-136.

[7]戴金洲,杜磊,沙硕,等.环境感知毫米波雷达抗干扰算法研究[J].电子测量与仪器学报,2023,37(9):126-132.

[8]余波,吴静,周琦宾.一种基于改进Canny算子的边缘检测算法[J].制造业自动化,2022,44(8):24-26,43.

[9]王海,蔡柏湘,蔡英凤,等.基于语义分割网络的路面积水与湿滑区域检测[J].汽车工程,2021,43(4):485-491.

[10]陈鸿翔,梁晨光,李蒙,等.语义分割图像自适应编码方法[J].探测与控制学报,2020,42(5):55-62.

基金资助:福建省教育厅课题项目(JAT220777);