首页 > 论文范文 > 工程工业论文 > 工业综合论文 > 公路水路运输论文 > 基于深度学习和迁移学习的螺栓脱落检测

基于深度学习和迁移学习的螺栓脱落检测

2023-12-31 170 上传者：管理员

摘要：螺栓连接常用于桥梁和钢结构中，针对连接处易出现螺栓脱落及传统人工检测效率低下等问题，提出一种螺栓脱落智能检测方法。首先，采集螺栓脱落图像数据集并标注，按7∶2∶1的比例划分训练集、验证集和测试集；其次，搭建YOLOV5S目标检测网络并利用迁移学习方法对数据集进行训练。最后，经过300次迭代训练，螺栓脱落检测准确率到达98.32%,损失值为0.014 91。研究结果表明：采用YOLOV5S深度学习算法及迁移学习的螺栓脱落检测准确率高，鲁棒性良好，可运用于实际工程中螺栓脱落的检测。

关键词：
人工巡检
无损检测
桥梁工程
螺栓脱落
迁移学习
加入收藏

螺栓连接相比于焊接、铆接等连接方式，具有安装方便、质量可靠等优点，故广泛运用于众多领域，尤其是在钢桥中[1]。螺栓连接的质量直接关乎着整个结构的安全性，所以应在施工和运营阶段始终保证其质量安全可靠。但是，在实际运营过程中，由于各种复杂作用的综合影响，螺栓难免会长期处于振动和负荷状态，甚至受到冲击，因此螺栓可能会出现脱落现象，危及整个结构的安全[2]。螺栓脱落问题一直是桥梁工程领域研究的重点，准确的螺栓脱落检测方法可以极大地保证桥梁的安全运营。

传统的螺栓脱落检测技术主要靠人工巡检，该方法主要由人工来操作，不仅费时费力，而且不能实现实时检测。近年来，深度学习的兴起，促进了螺栓脱落检测技术的发展，基于深度学习的方法成本低，属于无损检测，识别的准确率高且易于部署，克服了传统螺栓检测技术的弊端。

1、螺栓数据集准备

1.1 螺栓脱落图像采集

采用消费级相机在带螺栓拼接板上采集螺栓脱落图像，采集时需要变换拍摄角度、距离等，以保证螺栓图像的多样性。共采集螺栓图像230张，图像示例如图1所示。

图1螺栓脱落图像数据示例

1.2 图像预处理及数据集制作

为提高螺栓脱落检测模型的鲁棒性，对采集的原始图像进行一定的预处理，主要为螺栓图像筛选和图像尺寸统一化。采集的螺栓图像总共230张，因部分图像之间是相似的，从中挑选出200张图像作为螺栓脱落数据集。最后采用Python将螺栓图像的分辨率压缩到640像素×480像素，以方便输入到网络进行训练。

经过图像预处理后，采用labelImg对螺栓脱落图像进行标注。对标注完成得到的图像进行数据集划分，按7∶2∶1的比例对数据集进行随机划分，得到训练集、验证集和测试集。

2、YOLOV5S目标检测算法

2.1 目标检测算法简介

目标检测的任务是为了能在给定的图像中准确找到物体的位置，并给出物体的类别。目前常见的目标检测算法众多，可分为2类，即单阶段和两阶段的目标检测。常用单阶段目标检测算法有Yolo系列、SSD和RetinaNet等；常用两阶段目标检测算法有R-CNN、SPP-NET、Fast R-CNN和Faster R-CNN等。两阶段的目标检测精度高但检测速度慢，单阶段的目标检测速度快但精度稍逊。由于本文只需要对1～2个类别进行检测，故选择单阶段目标检测算法精度就足够了，最终确定选择Yolo网络来进行螺栓脱落检测。

2.2 Yolov5s模型搭建

Yolo是基于深度学习的回归方法，其核心思想是将整张图作为输入，直接在输出层回归目标框的位置和目标所属的类别。Yolo系列主要有Yolov1～Yolov5等多个版本的算法，对比各个版本的检测准确率和速度，最终选择采用Yolov5深度学习模型来检测螺栓脱落。Yolov5s是由输入端、Backbone、Neck、Prediction 4个部分所构成，其网络结构如图2所示。

(1)输入端包括Mosaic数据增强、自适应锚框计算、自适应图片缩放这3个部分。Mosaic数据增强的核心思想是随机选取4张图片，将4张图片进行随机裁剪、随机缩放、随机排布的方式进行拼接。可以丰富数据集，让网络的鲁棒性更好，且可以直接计算4张图片的数据，使得Mini-batch大小并不需要很大，可以减小GPU。自适应锚框是指Yolov5s模型中会预设锚定框，当自定义数据集输入后，Yolov5s会按照自定义数据集的标签来自动学习预设锚定框的尺寸。在网络训练过程中，会在预设框的基础上输出预测框，再与真实框对比，反向更新误差，迭代网络参数继续训练，在一定程度上可以提高检测的精度。自适应图片缩放是指将输入图片统一缩放到一个标准尺寸，长宽比不同的图片会对原始图像自适应的添加最少的黑边，填充的黑边越少，目标检测速度越快。

(2)Backbone主干网络结构主要包括Focus结构和CSP结构。Focus结构的原理是图片进入Backbone前对其进行切片操作，具体操作类似于邻近下采样，将宽、高的信息集中到通道上，然后再使用卷积进行特征提取。其作用是为了在下采样过程中不丢失信息，且可使特征提取更加的充分，但与普通卷积下采样相比计算量会增加一点点。Yolov5s中含有2种CSP结构，如网络结构图所示，CSP1_X结构应用在Backbone主干网络中，CSP2_X结构应用在Neck中。其主要作用为增强CNN的学习能力，使得在轻量化的同时还能保持准确率，还可以降低计算瓶颈，降低内存成本等。

(3)Neck网络结构主要包括SPP模块和FPN+PAN的结构。在目标检测中，通常会在Backbone主干网络和输出层之间插入一些层，这个部分就称为Neck,其主要作用是为了更好地对融合特征进行提取，且Neck中使用CSP2_X结构加强了网络特征融合的能力。

(4)输出端Prediction主要包括边界框的损失函数计算和nms非极大值抑制。Yolov5采用了CIOU_Loss作为损失函数，使得预测框回归的速度和精度都更高一些。目标检测的后处理过程中，需要对很多的目标框进行筛选，通常需要nms非极大值抑制操作来实现。

图2 Yolov5s网络结构

3、模型训练及检测结果

3.1 迁移学习

随着计算机视觉的不断发展，在一些领域已经取得了显著的成就，但是这些成功的背后都是靠大量的数据支撑，尤其在深度神经网络的训练中，若想要获得不错的效果，需要几十万甚至上百万的数据[3]。在实际运用中，因为收集到的相关数据集过小，根本不可能实现从零开始训练整个网络，为此可采用迁移学习来解决数据量不足的问题。迁移学习是指用一个已经训练好的模型进行另一个模型的训练[4],这个训练好的模型是在非常大的数据集上已经预训练好了的。很明显，若2个数据集之间存在较强的相关性，迁移学习的效果就越好，采用较少的数据就可以训练得到较好的结果。

预训练Yolov5s的模型的原始训练数据集是COCO数据集，起源于微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛之一。COCO数据集包含200 000张图像，含有80个类别，超过500 000个目标标注，是一个最广泛公开的目标检测数据库。由于本文只需对少类别目标进行检测，用其训练好的权重作为预训练权重，可以实现利用较少图像得到不错的检测效果。

3.2 试验环境配置

螺栓目标检测模型的搭建和训练在PyTorch平台上进行，编程语言为Python,编译器为PyCharm 2020.1。模型训练的硬件和软件配置如表1所示。

表1软硬件配置

螺栓目标检测模型的预训练权重使用Yolov5官方提供的yolov5s.pt,大部分超参数设置成模型中给定的初始值，主要设置的训练参数设置如表2所示。

表2训练参数设置

3.3 螺栓脱落检测结果

模型训练到300次时停止训练，此时准确率达到98.32%,损失值为0.014 91,训练过程的准确率和损失曲线如图3所示。训练得到2个权重文件，分别为best.pt和last.pt,最好的训练结果是在epoch为114次时到达，用best.pt权重文件进行螺栓图片检测，可以发现螺栓脱落检测效果良好，检测效果如图4所示。

图3螺栓脱落检测训练过程准确率和损失曲线

图4螺栓脱落检测结果

4、结论

(1)螺栓脱落检测训练过程中，在迭代训练50次左右开始到达稳定，114次达到最优，300次时准确率为98.32,损失值为0.014 91,可见模型训练参数设置合理，模型收敛较快。

(2)利用训练完成后的模型进行螺栓脱落检测准确率高、速度快、鲁棒性良好，可运用于实际结构中螺栓脱落的实时检测。

(3)本文算法还可结合无人机或外接摄像头，用于桥梁结构螺栓脱落的实时检测。

参考文献:

[2]郭珍珠,赵伟.公路钢桥高强度螺栓松动检测技术研究进展[R].2021.

[3]朱劲松,李欢,王世芳.基于卷积神经网络和迁移学习的钢桥病害识别[J].长安大学学报(自然科学版),2021,41(3):52-63.

[4]赵威.基于迁移学习的小样本深度学习研究[D].广州:广东工业大学,2017.

文章来源:罗纯坤.基于深度学习和迁移学习的螺栓脱落检测[J].四川建筑,2023,43(06):73-75.