首页 > 论文范文 > 工程工业论文 > 重工业论文 > 金属工业论文 > 基于全特征融合的小径管焊接缺陷检测方法

基于全特征融合的小径管焊接缺陷检测方法

2023-09-05 108 上传者：管理员

摘要：针对小径管焊接X射线图像中缺陷尺寸差异大、大纵横比缺陷和回归位置偏移等问题，提出了基于全特征融合和多级检测头的检测模型，模型由全特征融合网络(FFF-Net)和基于距离交并比(IoU)散度(DI-KL)损失的多级检测头组成。FFF-Net通过双向特征均衡有效提取不同尺寸缺陷的特征，利用形状特征提取大纵横比缺陷的形状特征，并通过注意力机制提高特征的显著性；基于DI-KL损失的多级检测头将DI-KL损失作为回归损失，结合多级检测头缓解了预测框回归位置不准确的问题。实验结果表明：该模型有效提高了小径管焊接缺陷检测精度，特别是小尺寸和大纵横比缺陷的检测精度。

关键词：
DI-KL损失
X射线图像
全特征融合
小径管
缺陷检测
加入收藏

引言

在对小径管的焊接加工过程中，由于自然环境的干扰或焊接技术失误等原因，少许焊缝中会出现各种难以预料的焊接缺陷。在生产和使用中对小径管的焊缝进行检测，可以及早发现焊接缺陷，降低安全隐患。随着深度学习的发展，利用卷积神经网络(convolutional neural network, CNN)检测工业表面缺陷已成为目前主流研究方向。张磊等人[1]采用YOLOv3检测铝型材表面缺陷；文生平等人[2]以高斯(Gaussian)YOLOv3为基础网络，采用可变形卷积和密集连接加强铝型材表面缺陷特征；Wang R等人[3]基于全卷积网络(fully convolutional network, FCN)检测铁路轨道紧固件缺陷；彭煜等人[4]以Faster R-CNN为基础，采用ResNet101骨干网络检测刨花板表面缺陷；针对金属板带材表面缺陷，王海云等人[5]基于Faster R-CNN提出了分布式数据网络(distributed data network, DDN)。通过对目标检测网络的改进，这些工业表面缺陷的检测都达到了较好的效果。刘梦溪等人[6]提出了用深度CNN识别焊缝缺陷类别，谷静等人[7]提出了基于DenseNet的焊缝缺陷识别方法，都取得了较好的结果。

由于小径管在工业应用中的重要性，很难得到有缺陷的图像，针对小径管焊接缺陷检测研究较少。且通过数字化成像技术(digital radiography, DR)采集的小径管X射线图像中缺陷尺寸小，同一缺陷的形貌在不同位置的投影会有一定形变，与工业表面缺陷相比，小径管的缺陷特征更加复杂。

研究发现，小径管焊接缺陷尺寸差异较大，且以圆形缺陷为主的小尺寸目标检测难度大，漏检率和误检率较高；未焊透与未熔合由于缺陷纵横比过大，检测效果也不理想；训练结果产生的预测框与实际缺陷回归位置不准确。为此，本文提出了基于全特征融合的多级检测(full feature fusion based multi-level detection, FFF-MD)网络模型。以Faster R-CNN为基础，提出了全特征融合网络(full feature fusion network, FFF-Net)来加强圆形、未焊透、未熔合等缺陷的特征提取，提出了距离交并比(intersection over union, IoU)散度损失(distance IoU Kullback-Leibler divergence loss, DI-KL Loss)以缓解回归位置不准确的问题。

1、基于FFF-MD的小径管焊接缺陷检测模型

如图1所示，FFF-MD模型包括3个部分：特征提取网络——FFF-Net,区域候选网络(region proposal network, RPN)和分类与回归网络。图像经过预处理后，输入到FFF-Net,得到缺陷的特征图，RPN获得对应的候选区域，与特征图共同输入到检测头(head)中，通过全连接(fully connected, FC)对目标进行分类和回归得到检测结果。

图1基于FFF-MD的检测模型

模型中检测头使用的损失定义如下

L=Lcls+Lreg (1)

式中Lcls为分类损失，采用交叉熵损失；Lreg为回归损失，使用本文提出的DI-KL损失。

1.1基于FFF-Net的特征提取

如图2所示，首先以ResNet101为骨干网络对图像进行自底向上的多层次特征提取，这些特征层分别用C2～C5表示。C2～C5输入到特征金字塔网络(feature pyramid network, FPN)中，进行相邻层的自顶向下的特征融合，输出层分别表示为P2～P5。然后，对P5层进行池化操作，输出表示为P6。最后，将FPN输出的P2～P6层输入到双向特征均衡模块，该模块中添加了形状特征提取和注意力机制。

图2 FFF-Net结构

1.1.1双向特征均衡

为了加强小尺寸目标的语义信息，基于平衡金字塔[8]的思想，将深层次的特征图上采样后融入低层次特征图。对于大、中目标，将低层次的特征图下采样池化后融入深层次特征图，使得深层次特征图获得部分纹理信息。双向特征均衡模块的结构如图3所示。

图3双向特征均衡模块

为了降低融合过程中网络计算量，将FPN输出的5层特征图融合成1层特征图，将P5、P6层上采样至和P4层一致的尺寸，再将P2、P3层最大池化至和P4层一致的尺寸，求得1个平均特征层，记为P层，如下

P=(∑i=26

Pi)/5 (2)

平均特征层P经过形状特征提取和注意力机制增强后得到P′,将P′分别上采样和下采样至与P2～P6相同大小，并分别与P2～P6相加，得到P″2～P″6层。

1.1.2形状特征提取

为了加强大纵横比缺陷的特征提取能力，基于可变形卷积对双向特征均衡中得到的平均特征进行形状特征提取。通过对规格采样点进行额外的自适应偏移，使得采样点自适应地与感兴趣的目标空间格点关联。

在标准3×3卷积中，网格R定义如下

Ri,j={i,j|-1,0,1} (3)

输出特征R0,0与输入特征图的映射关系如下

out(R0,0)=∑i=−11∑j=−11

w(Ri,j)×in(Ri,j) (4)

在基于可变形卷积的形状特征提取中，每个特征R0,0对网格R各个位置都增加一个偏移量，定义如下

offsetsi,j={(Δxi,Δyj)|i,j=-1,0,1} (5)

其中，offsets通过网络训练学习得到。

通过计算输入特征P中每个R0,0与其对应网格R的各个位置的偏移，得到3倍特征图信息，最后使用步长为3的3×3卷积输出特征图Q。输出与输入的映射关系如下

out(R0,0)=∑i=−11∑j=−11

w(Ri,j)×in(Ri,j+offsetsi,j) (6)

1.1.3注意力机制

为了进一步加强整体的特征信息，采用通道注意力机制计算各个通道之间在全局感受野上的相似度，并作为加权值作用于原特征，如图4所示。

图4注意力机制模块

将形状特征提取得到的结果Q作为输入，首先对特征图的长和宽进行降维，使用1×1卷积将特征分成3个分支Q1、Q2、Q3,其中，分支Q2进行了转置运算，如下

Q1(x)=W1Q(x),Q2(x)=W2Q(x)T,Q3(x)=W3Q(x) (7)

Q1与Q2 2个分支计算该特征图的通道之间的相关性，并作为权重与第3个分支进行点积，对该特征图进行映射，最后将特征图与映射后的特征图相加，得到P′,计算如下

P′(x)=Q1(x)×Q2(x)×Q3(x)+Q(x) (8)

1.2基于DI-KL损失的多级检测头

为了得到高质量的候选框且不降低正样本的数量，借鉴级联的思想，在RPN后添加了多个升序IoU阈值的检测头。通过多个检测头回归，逐渐得到高质量候选框，从而进一步提高模型的检测精度。本文先用KL损失[9]代替常用的Smooth L1损失。然而无论是Smooth L1损失还是KL损失，考虑的是目标与锚的距离和宽、高比，多个检测框损失可能相同，但目标与锚的重叠率可能不同。因此，本文结合IoU与KL损失来评估预测位置的好坏，如图5所示。

图5基于DI-KL损失的多级检测头

KL损失将预测边界框位置问题转换成了一个概率分布问题，通过训练同时学习边界框的变换和定位标准差。KL损失如下

LKL={e−α(xg−xe)2/2+α/2,|xg−xe|≤1e−α(|xg−xe|−1/2)+α/2,|xg−xe|>1, α=log(σ2) (9)

其中，xg和xe分别为真实边界框和预测边界框的位置，σ为预测的分布标准差。

DI-KL损失中将W～IoU的值作为KL损失的权重，定义如下

LDI-KL=W～IoU×LKL (10)

当预测框与真实框完全重合时，其损失为0;当预测框与真实框没有交集时，其损失回退到KL损失。

2、实验与结果分析

2.1实验数据与评估标准

实验数据为工业生产中的真实图片，共采集890张小径管X射线图像，对图像进行预处理后，对焊缝有缺陷的区域进行分割，得到983例图像。缺陷包括6种类型：焊瘤、内凹、圆形缺陷、未焊透、未熔合和夹杂物。每例图像可能包含多个不同类别的缺陷。

由于样本数量较少，对数据集进行了增广。首先将图片顺时针连续旋转90°,再对原始数据和旋转后的数据进行翻转，得到7 864例图像。

实验中采用查准率(CP)、查全率(CR)、均值平均精度(mean average precision, mAP)和F-score作为评价标准，其中，F-score包括F1和F2。

2.2实验设置

实验中采用五折交叉验证，每次模型训练时初始权重随机生成，不进行预训练。对于每个模型，在GPU上训练30个批次，每一步输入张图像。使用Momentum算法优化模型，动量设置为0.9,权重衰减系数为0.000 1。使用学习率衰减策略，初始学习率为0.001 25,当运行到16个批次时，降低到0.000 13,当运行到29个批次时，降低到0.000 01。实验环境为Ubuntu 18.04,GPU为NVIDIA Tesla V100,实验基于Pytorch库实现。

2.3实验结果分析

2.3.1骨干网络对检测结果的影响

在其他参数设置相同的条件下，采用VGG16、VGG19、ResNet50、ResNet101分别进行实验，结果如表1所示。可以看出，以ResNet101作为骨干网络时，所有评估指标明显优于其他骨干网络。因此，在后续实验中采用ResNet101作为骨干网络。

表1骨干网络对检测结果的影响

2.3.2检测头数量对检测结果的影响

分别采用双检测头、三检测头、四检测头进行实验，结果如表2所示。表2中，〈0.5,0.6,0.7〉表示第3个检测头的IoU阈值分别为0.5,0.6和0.7。

表2不同检测头数量的比较

实验结果表明，三检测头的结果优于双检测头的结果，四检测头相对于三检测头效果提升不明显。然而如表2后两列所示，检测头数量与模型复杂度成正比，综合检测精度和模型复杂度等因素，后续实验采用三检测头，其中检测头的IoU阈值分别为0.5,0.6和0.7。

2.3.3 FFF-Net的有效性验证

实验(a)增加了双向特征均衡模块，采用3×3普通卷积，实验(b)在实验(a)基础上将3×3普通卷积替换成可变形卷积，实验(c)在实验(a)基础上增加注意力机制，实验(d)表示ResNet101连接FPN后，与整个全特征融合模块结合作为特征提取网络。结果如表3所示。

表3特征提取网络的总体评价

结果表明，双向特征均衡模块提高了缺陷的CP,形状特征提取模块和注意力机制同时提高了缺陷的CP和CR,且CP的提升较为明显。比较了各个类别缺陷的CP,如表4所示。可以看出，双向特征均衡模块有效提高了缺陷的CP,尤其是极大地提高了小尺寸的圆形缺陷的CP;加入形状特征提取模块后，网络可以学习到未焊透、未熔合和部分夹杂物等大纵横比缺陷的细节特征，减少了大纵横比缺陷的误判；注意力机制捕捉的是全局感受野信息，加强了缺陷尺寸较大的特征信息，提高了焊瘤、内凹和部分尺寸较大的夹杂物的CP。

表4特征提取网络对不同类别缺陷的CP的影响

2.3.4 DI-KL损失的有效性验证

由表5可以看出，与Smooth L1损失相比，KL损失对模型的评估指标略有提升，使用DIoU损失降低了模型的检测效果。本文提出的DI-KL损失提高了模型整体的CP、mAP和F-Score, CP与Smooth L1损失相同，略低于DIoU损失。结果表明，DI-KL损失整体上提高了模型的检测效果。

表5不太损失函数的比较

2.3.5与其他模型的比较

由表6所示实验结果表明，FFF-MD模型提高了焊接缺陷的检测效果，尤其是极大地提高了CP。

表6与其他模型的比较

3、结论

本文提出了基于FFF-MD的缺陷检测模型，以Faster R-CNN为基础，设计了特征提取网络FFF-Net和基于DI-KL损失的多级检测头。FFF-Net通过双向特征均衡模块将深层的位置信息与浅层的形状特征融合，加入形状特征提取模块增强了大纵横比缺陷的特征信息，注意力机制加强了整体的特征信息。多级检测头用于提高小径管焊接缺陷检测的精度，DI-KL损失用于缓解预测框与真实标签回归位置不准确的问题。实验结果表明，FFF-MD模型整体提高了小径管焊接缺陷的检测效果，尤其是小尺寸缺陷和纵横比大缺陷。

参考文献:

[1] 张磊,郎贤礼,王乐.基于图像融合与YOLOv3的铝型材表面缺陷检测[J].计算机与现代化,2020(11):8-15.

[2] 文生平,李超贤.基于Gaussian-YOLOv3的铝型材表面缺陷检测[J].计算机测量与控制,2020,28(9):88-93.

[3]彭煜,肖书浩,阮金华,等.基于Faster R-CNN的刨花板表面缺陷检测研究[J].组合机床与自动化加工技术,2020(3):91-94.

[4]王海云,王剑平,罗付华.融合多层次特征Faster R-CNN的金属板带材表面缺陷检测研究[J].机械科学与技术,2021,40(2):262-269.

[5]刘梦溪,巨永锋,高炜欣,等.深度卷积神经网络的X射线焊缝缺陷研究[J.传感器与微系统,2018,37(5)37-39.

[6]谷静,王琦露,张敏,等.基于DenseNet网络的焊缝缺陷检测识别[J].传感器与微系统,2020,39(9):129-131.

基金资助:天津市重点研发计划资助项目(20YFZCGX00490);河北省自然科学基金资助项目(F2020202008);

文章来源:石陆魁,石波,白佳鹏等.基于全特征融合的小径管焊接缺陷检测方法[J].传感器与微系统,2023,42(09):116-120.