首页 >
论文范文 >
自然科学论文 >
物理学论文 >
光学论文 >
线结构光的亚像素基础上精度焊缝提取方法研究
摘要：对于激光视觉焊缝跟踪系统，基于线性结构光快速、高精度地提取焊缝特征点是系统搭建的关键；现有算法多是采取像素级别的提取特征，现提出改进的亚像素精度算法用以提取焊缝特征点；与以往算法不同的是，算法不需要进行阈值的选取，提取条纹中心线和检测特征点的过程，都采用了先计算出亚像素位置，再对图像进行处理，显著地提高了算法的精度；并且目前图像处理多采用深度学习，但都为对像素的离散点实现，难以做到亚像素精度；实验结果表明，该算法能够满足生产实际要求，能够实时、精确地实现焊缝提取。
加入收藏
激光线性结构光传感器具有结构简单，体积小等特点，广泛用于焊接的焊缝追踪，轨迹规划等，称为焊接过程自动化的关键技术之一。而在结构光条定位中，为了提高定位精度，提出了亚像素的概念，是指在相机得到的像素和像素之间还有几十到十几个微米的距离。而通常我们计算出的坐标都是正整数，这表示的是我们是在对像素进行操作，而亚像素计算出来的坐标是实数，能够极大地提高算法的精度。
多年来，国内外学者就光条中心问题提出了多种方法，比较常见的主要有极值法、几何中心法、灰度重心法和Steger法等；特征点检测常见有Harris角点检测、FAST角点检测，以及一些局部图像特征，如SIFT,SURF,ORB等[1]。焊缝特征识别的一般步骤是图像滤波、中心线提取、对线性特征进行拟合、特征点的识别。但是这些算法都只是依赖于像素单元进行处理，算法的识别精度并不够高。更有学者使用深度学习、机器学习的方法[2]对焊缝进行处理，在涉及到小目标，神经网络在网络深层差一个像素，在网络浅层会差8或者16个像素，这对小目标的跟踪影响巨大，也难以做到亚像素定位。文中将利用基于Hessian矩阵的Steger亚像素光条定位算法，再通过经过亚像素精度优化后的Shi-Tomasi角点检测算法，在提取光条中心线以及特征点检测两个重要流程中，都在亚像素精度下进行图像处理，并且考虑到了算法的实时性，经过实验表明，算法的精度和效率能够满足要求。
1、实验装置和工作原理
1.1 设备描述
实验装置包括计算模块，成像系统模块。文中使用开源，体积小，相对廉价的树莓派用作计算模块，使用工业相机进行图像信号的采集，采用线性的主动激光提取激光照射后的特征。考虑到图像处理中的实时性要求，要求图像采集速度要高于检测对象的检测速率，即相机的帧率要高，同时得保证计算要足够快。因此，采用了一块基于1.4GHz64位4核ARMCortex-A53CPU的树莓派3B+作为计算模块。成像系统采用了一块像素为200万的工业相机，同时使用一块650nm的低通滤光片过滤，限制镜头的进光量。
图1焊缝提取系统设备和工作环境
1.2 焊缝视觉提取装置设计思路
系统采用主动激光和工业相机来采集图像，在主动激光接通电源后，能够发出特定波长的光，产生一个平面的线激光，线激光照射在焊件上会产生固定形状的光条[3]。经过特定波长的滤光片和相机中的透镜成像后，能够正好拍摄到一条包含焊缝轮廓信息的条纹。通过对主动激光照射在焊件上产生的图像进行处理，可以提取到焊缝的中心线以及焊缝坡口的位置，以便于以后通过图像处理得到偏移的距离，然后采用输出指令的方式来纠正焊枪的位置。
2、焊缝提取平台搭建和算法研究
2.1 软件平台环境
本提取系统后续需要在一秒内向伺服电机输出5或6条指令。因此进行图像处理的计算要求较高，故采用C++进行程序设计，在树莓派的Raspbian操作系统，编译OpenCV库，作为主要的图像处理工具。
2.2 相机镜头的标定
在机器视觉的应用中，相机得到的图像往往会产生畸变，这些畸变一般分为径向畸变和切向畸变。径向畸变往往是由于透镜的形状引起的，见公式。
式中，x和y为像素横纵方向的像素距离，r为该点距离成像中心的距离，得到的结果为校正后的新位置。对于畸变较小的中心区域，主要是k1起作用，对于畸变较大的边缘，主要是k2起作用。普通的相机一般用这两个参数就可校正，而工业相机一般会使用到更多参数。
而切向畸变是因为在相机的组装过程中，由于不能使透镜严格和成像平面平行，会引入切向畸变，给出计算公式。
联立四式，得到畸变参数k1、k2、p1、p2、p3。
我们需要利用标定算法同时求出相机的内参和畸变参数，来校正图像。最常见的算法是张正友标定算法，在OpenCV和Matlab中均已经实现该算法。本系统中采用玻璃底板、棋盘格宽度为1cm的棋盘格进行标定。如图3，是15张640×480分辨率的棋盘格图像，标定生成的成像模式示意图。
图2标定图像成像示意图
对标定后的数据，使用5个畸变参数与相机内参数实现校正，校正结果如图3。
图3原始图像和校正图像对比图
2.3 图像处理算法设计
在没有主动激光的情况下，提取焊缝多要使用LED光源、卤素灯、高频荧光灯等常见机器视觉光源。但在采用主动激光的条件，周围光照一定不能超过激光的强度，所以可以不需要再采用其他机器视觉光源进行辅助。埋弧焊钢管焊接中图像的噪声多为椒盐噪声，这里采用高斯滤波进行图像处理，可以一定程度上去除噪声干扰，并对后一步光条中心线的提取做好了前置工作。
2.3.1 光条中心线的提取方法
光条细化中心的提取，对后续进行焊缝坡口以及特征点的提取具有重要意义。需要对光条进行处理，得到一条单像素宽的中心线。并且光条细化中心的提取速度和精度，会影响整个焊缝处理系统。目前，光条中心线的提取方法主要包括骨架细化法、几何中心法、灰度重心法、基于Hessian矩阵的Steger算法等，国内外学者也对其做了大量的研究[4]。
骨架细化法是一种形态学算法，通过不断剥离二值图像的边界像素，最终得到细化的光条，但是剥离的过程要花费大量的时间，不满足实时性。
几何中心法，则是通过Roberts算子，Sobel算子、Canny算子等先做边缘检测，得到光条的两边边界，再将两边界的中线，取做中间线。该方法简单，速度快，但是要求图像的光条边界必须十分精确，生产实际中的噪声会对边缘检测造成非常大的影响，算法的鲁棒性不高。
灰度重心法，是对图像中的所有像素进行遍历，在一列线激光中，先采用极值法求取光强最大的一点max，然后确定一个阀值K=max-△l(l一般取10～20），在阈值两边判断大于K的元素，对中间的每一行提取灰度重心作为光条纹的中心位置。灰度重心法需要对阈值进行选取，也易受环境噪声影响。
基于Hessian矩阵的Steger算法，是一种亚像素中心定位算法。图像中的点性结构具有各项同性，而线性结构具有各向异性。因此我们可以利用Hessian矩阵对图像中的线性结构进行增强，滤去点状的结构和噪声点。Steger算法首先通过Hessian矩阵最大特征值对应的特征向量，得到光条的法线方向，然后在法线方向上进行泰勒展开，求出的多项式极大值就是光条纹中心的亚像素位置[5]。Hessian矩阵是由多元函数的二阶偏导数组成的矩阵，定义如式（5）。式中rxx为图像沿x方向的二阶偏导数，其它的值类似。
而对于二维图像内某一点的Hessian矩阵，它的最大特征值和其对应的特征向量，对应其邻域二维曲线最大曲率的强度和方向。总结来说，图像某点的Hessian矩阵特征值大小和符号决定了该点邻域内的几何结构。该算法具有处理精度高，鲁棒性好等优点，本系统采用了这种方法，但是计算量相对较大，为了保证实时性需要进行实验和注意程序设计时算法的复杂度。处理结果见图4。
图4增加滤光片焊缝图像与Steger算法处理效果图
2.3.2 特征点提取
一般图像的特征类型可以被分为边缘、角点、感兴趣区域。焊缝特征点的提取可以依赖于角点特征的提取。角点的具体描述一般可以分为灰度的梯度局部最大所对应的像素点；两条或两条以上边缘的交点；图像中梯度值和梯度变化率高的点。角点提取算法有很多，例如Harris角点，FAST角点，以及学者们又设计了很多局部图像特征，如SIFT,SURF,ORB等，但是在生产实际中，SIFT以及SURF都有专利保护。故此采用一种对Harris角点的进行改进的算法，Shi-Tomasi角点检测算法，在很多情况下可以得到比Harris算法更好的结果。
用（w,x）表示窗口函数，（u,v）为窗口平移量，可以求得像素在窗口内的变化量，再对灰度变化进行泰勒展开，可以得到式（6）。
即为椭圆方程，椭圆的长短轴表示了矩阵的特征值，反应了两个垂直方向的变化情况，两个特征值都大的情况。Harris角点检测是用C来评价角点的强度，见式（7）。检测的结果与k值有关，k是一个经验值，需要多次试验才能找到最佳值。
式中，det(H）为窗口矩阵的行列式，trace(H）为窗口矩阵的迹，λ1，λ2为特征值。而在Shi-Tomasi算法中间，直接用较小的那个特征值作为C来判断角点的强度，这样就不需要调整K值了[5]。见公式（9）。和Harris角点检测算法一样，C大于设定的阈值，我们就认为它是一个角点。
基于Shi-Tomasi算法与Harris角点检测算法一样，只能达到像素级别，可以使用cornerSubPix亚像素角点检测作进一步的优化操作，可以使角点的精度达到亚像素的级别。算法的主要思想，是要对正交向量的点乘进行迭代。
图5cornerSubPix算法示意图
如图5,q为待求取的亚像素点，pi是q周围的点，坐标已知，可以自行选取，图像中实线的箭头表示梯度方向。求取亚像素点需要两个正交向量才可求解，设（pi-q）为第一个向量，pi位置的灰度设为Gi，为第二个向量。考虑两种情况，如图5中po表示，位于白色区域，此时的梯度为0；如图5中的pi表示，位于边缘区域，向量（pi-q）与Gi垂直，即点乘为0。都可以得到式（11）。
再将式（10）转换为最小二乘法的矩阵形式。
所以当点q固定时，若有足够多的向量（pi-q）满足式（11），将每个向量看成一个方程，对方程组求解，可求得亚像素点的位置。但是点q只有一个，pi点有多个，需要对式（13）加上求和符号。但是在采用多点计算后，各点离中心距离不一致，需要引入权重，这里引入高斯权重，假设pi处权重系数为wi，式子最终可以修正为式（14）。
即cornerSubPix亚像素角点检测优化，是以一个初始的角点q0为中心，选取一个窗口，对窗口中各点的梯度进行求和，因为各点离中心距离不一，引入了高斯权重，用最小二乘法求解，即可得到一个亚像素点（qx,qy），再以q为中心，不断迭代，通过设置结果精度确定迭代次数。于是，对得到的特征点进行筛选，考虑到坡口处的横坐标远大于非坡口处的横坐标，就能过滤掉非坡口处的坐标，选取坡口部分的特征点坐标。对坡口处的特征点坐标进行均值处理，最后能够得到我们需要的特征点坐标。
3、实验分析
3.1 图像处理算法耗时测试
为了验证算法的有效性和准确性，实验基于标定后的线结构光测量系统，选取了两块不锈钢钢板作为测量对象，尺寸大小为300mm×160mm×4mm，分别对其表面进行焊缝提取。试验中，传感器距离焊件表面约100mm，所检测的焊缝宽度约为2mm。考虑算法执行时间和CPU的频率有关，在分辨率为320×240、640×480、1024×768、1280×960图像分辨率下对算法所用的执行时间进行测算，执行的平台为树莓派。但是算法执行的时间和操作系统调度有关，如果在轻负载情况下，可以通过多次运行消除操作系统调度的影响。且近10年来的处理器都支持动态频率调整，会根据负载的情况会调整频率。故采用多次测量时间求均值消除影响。测量时间如图6，横坐标的单位为图像像素，纵坐标单位为毫秒。
图6不同分辨率下求取10次算法时间统计图
对所做实验的结果求取均值，可以得到算法在不同分辨率时间的预测。
3.2 焊缝跟踪提取实验
要求在1秒内输出至少五帧，则每一帧的总时间不超过200ms。在不开启图像显示时（人机交互），可以使用640×480分辨率的图像；在开启图像显示后，会拖慢图像处理的速度，这时在树莓派的算力下需要采用用320×240分辨率的图像。
表1不同分辨率下图像处理时间
3.3 焊缝精度提取实验
利用Harris角点检测对以及细化处理的图像进行检测，观察放大后的图像，提取的角点位置多为离散像素点的角点，而不是焊缝坡口处的角点，检测出的精度不高。
图7增加滤光片焊缝图像与Harris算法处理效果图
如图8，显示了直接使用Shi-Tomasi算法和经过亚像素精度优化后的结果、根据图像显示，找到的角点位置更加清晰，通过对角点的显示，角点和角点的位置之间没有更多粘粘，可以得出经过亚像素优化后的角点的位置更加准确。
图8Shi-Tomasi算法与优化后的算法处理效果图
4、结束语
1）针对常见焊缝提取算法精度不高的问题，文章利用树莓派和工业相机搭建主动激光焊缝提取系统，通过Steger算法以及对Shi-Tomasi角点检测算法进行精度优化，做到了亚像素精度级别的焊缝识别，能够得到了坡口处的位置信息，为下一步进行伺服电机控制焊枪提供了帮助。
(2）经过试验表明，该算法实时性能够达到要求，算法精度高，实际可行[6,7,8,9,10,11,12,13]。
参考文献：
[1]刘航,李志勇,任杰亮,等.焊缝轮廓线激光检测系统开发及算法实现[J].焊接,2017(1):27-31.
[2]罗超群,胡志辉,邓渝波.焊缝检测区域的分段线性阈值增强算法[J].现代电子技术,2019,42(5):45-47.
[3]杨镇豪,杨柳,李辉,等.复杂环境下结构光中心线提取算法[J].计算机技术与发展,2018,28(9):7-10.
[4]王秀平,白瑞林.基于线结构光视觉的焊缝类型识别与特征提取[J].电焊机,2014,44(11):94-98.
[6]张殷,姚宾,梁锦堂,等.基于线阵相机图像识别技术的带钢焊缝检测系统[J].电气传动,2019,49(2):79-81.
[7]林少铎,高向东,黎扬进,等.角点检测与光流跟踪的焊缝特征提取与定位研究[J].机电工程,2019,36(4):440-444.
[9]汤溢,陈曦,刘祥磊.OpenCV的相机标定在高速相机中的应用[J].北京测绘,2018,32(5):578-582.
胡韵松,王军民,付嘉玮,李雄军,刘威.基于线结构光的亚像素精度焊缝提取方法研究[J].计算机测量与控制,2020,28(07):162-166.
分享：
2022年， 全世界的糖尿病患者已超过5.37亿。 对于他们而言， 无创伤的血糖检测一直是他们的期待。 基于近红外光谱法的血糖检测是一个有前景的无创方法， 采用两个或多个光源-探测器距离进行差分测量的方法, 可以有效地提高活体光谱采集的稳定性， 也是目前该领域多采用的测量形式。
2024-05-11
提出了一种利用数码相机进行观测的新型分光计方案及其调节方法,并研制了实验样机.利用数码相机替代了传统分光计中的望远镜部分,可观察并记录相关光学现象.调节分光计时,首先利用数码相机镜头对焦于无穷远作为标准进行平行光调节,然后利用反射狭缝像的位置调节载物台与旋转轴的垂直,最后以载物台为基准调节数码相机及平行光管与旋转轴垂直.对新型分光计的特性分析及实验结果表明:该新型分光计具有调节难度低、测量误差小、能同时观测多条光谱线的特点。
2020-12-08
长波红外光谱(8～14μm)是介于中红外波段和太赫兹波之间的重要电磁辐射,对应着地球表面常温目标物体的辐射波段和地球“第三大气窗口”,相对于短波和中波红外辐射,长波红外辐射受大气散射影响较小。因此,长波红外辐射在红外夜视、资源探测、精确制导、安防报警等科研及国防领域具有极其重要的应用,为国家综合实力的重要体现。
2020-12-08
气体浓度检测一直是十分重要的工作,它与人类生活、环境变化和工业生产都息息相关,尤其是有毒有害气体的检测。近年来随着光谱技术的大力发展,可调谐半导体激光光谱技术(tunablediodelaserabsorptionspectroscopy,TDLAS)已逐渐发展成熟,它具有灵敏度高、响应速度快、实时监测以及优秀的便携性等优点,成为了气体检测的重要技术之一。
2020-12-08
随着科学技术的不断发展进步，军事和镜头相关的工商业领域都越来越多的使用红外光学系统。尤其在军事方面，光学系统发展迅速，导致军事方面对光学系统的性能有越来越高的要求。通常情况下，摄远物镜的系统长度小于其焦距[1]，所以焦距相同时，把红外物镜设计成红外摄远物镜就可以很大程度上减少系统的制作成本。
2020-12-05
光刻工艺是集成电路制造中最重要、最关键的工艺步骤之一。随着半导体技术的飞速发展，图形越来越密集，特征尺寸越来越小，对光刻工艺分辨率的要求越来越高。光刻工艺中一个重要的性能指标是每个图形的分辨率。在先进的半导体集成电路制造中，为获得高集成度器件分辨率很关键。
2020-11-20
激光加工是一种非接触、无污染、无磨损的加工工艺，它包含激光切割、激光打孔、激光标刻等加工方式。激光打标技术已经在众多领域占有很大的比例，国家根据激光标刻行业制定了一系列的标准。工艺参数的设定在激光标刻过程中对其加工质量和效率起到了重要作用[1]。本文以激光标刻文字、条形码为研究对象，通过优化汉字笔画打标顺序和圆弧代替直线加工，能够激光标刻质量和效率。
2020-10-19
在我们最近的工作中[11],将RF白噪声和波长调制被同时添加到OA-ICOS系统中,提出了一种痕量气体检测的新方法(RF-WM-OA-ICOS)。与未受RF噪声干扰的OA-ICOS相比,RF-WM-OA-ICOS的探测极限提高了约6倍。本文将进一步地详细研究RF噪声扰动对WM-OA-ICOS系统的二次谐波信号的影响,并基于该技术建立了一套高精密的甲烷气体测量装置。
2020-09-09
自动随着公路建设的不断发展,对公路建设的质量提出了更高的要求,需要构建公路磨耗层质量自动监测模型,结合大数据信息处理方法,进行公路磨耗层质量自动监测的信息处理,提高公路磨耗层质量监测的自动化水平[1],从而提高公路建设的质量,提高对公路磨耗层质量信息健康管理水平[2],采用大数据信息管理和优化融合调度技术,进行公路磨耗层质量自动监测系统开发设计,在信息化管理平台下,进行公路磨耗层质量自动监测方法改进,对相关的公路磨耗层质量自动监测模型研究具有重要意义。
2020-08-10
激光线性结构光传感器具有结构简单，体积小等特点，广泛用于焊接的焊缝追踪，轨迹规划等，称为焊接过程自动化的关键技术之一。而在结构光条定位中，为了提高定位精度，提出了亚像素的概念，是指在相机得到的像素和像素之间还有几十到十几个微米的距离。而通常我们计算出的坐标都是正整数，这表示的是我们是在对像素进行操作，而亚像素计算出来的坐标是实数，能够极大地提高算法的精度。
2020-08-10我要评论
期刊名称：应用光学
期刊人气：3788
主管单位：中国兵器工业集团公司
主办单位：中国兵工学会,中国兵器工业第二〇五研究所
出版地方：陕西
专业分类：科学
国际刊号：1002-2082
国内刊号：61-1171/O4
邮发代号：52-245
创刊时间：1980年
发行周期：双月刊
期刊开本：大16开
见刊时间：一年半以上
影响因子：0.735
影响因子：0.645
影响因子：1.369
影响因子：0.874
影响因子：0.385
科普杂志阅读、期刊信息查询、论文下载、文献查询、原创文章检测等多项服务。
服务热线
您的论文已提交，我们会尽快联系您，请耐心等待！
你的密码已发送到您的邮箱，请查看！
2020-08-10
320
上传者：管理员
