随着全球能源需求的不断增加，人们对可再生能源的关注日益加深。光伏发电作为一种清洁、可持续的能源形式在能源领域得到了广泛应用。然而，由于遮挡物和光伏组件内部故障等原因，光伏组件在发电过程中会产生热斑现象，即在光伏组件表面或内部产生高温区域，导致其性能下降，发生故障甚至损坏，从而影响光伏发电系统的效率和稳定性，甚至造成安全隐患。

国内外学者对人工神经网络和深度学习的光伏热斑的检测已有广泛而深入的研究。其中，Kumari等[1]利用基于人工神经网络的故障检测技术，对光伏热斑故障进行了检测。孙海蓉等[2-3]基于深度学习的检测光伏热斑的方法获得良好的效果。基于深度学习的检测方法根据步骤处理阶段大致可分为两类。一类是以RCNN系列为代表的两阶段框架。郭梦浩等[4]采用RCNN模型对光伏热斑进行了检测，达到了较高的准确率。一类是以YOLO系列和SSD系列为代表的单阶段框架。王道累等[5]运用SSD方法进行了光伏热斑检测；Katyal等[6]运用YOLO系列模型进行了小目标的目标检测。

与两阶段框架算法相比，单阶段框架系列算法能将检测问题转变为回归问题进行求解，不用产生候选区域，因此检测速度更快，适用于大规模和实时性的应用场景。YOLO系列在检测光伏热斑领域被广泛应用。孙建波等[7]采用YOLO算法检测光伏热斑取得了良好的效果。目前的研究方法存在检测速度慢、计算量和参数量大，以及网络结构复杂等缺陷，并且只能分类出含有热斑的图片，不能准确地定位并标记出热斑出现的位置。本文针对上述问题，提出基于YOLOv5s的优化算法模型，从以下两个方面对YOLOv5s进行优化：

1）利用Shuffle Net V2优化YOLOv5s模型的主干部分。Shuffle Net V2通过使用轻量级的Shuffle模块和通道混洗模块进行重新排列，减少模型的计算复杂度，增强不同通道的信息融合。这使得Shuffle Net V2在保持较高性能的同时，具有较低的模型参数和计算资源需求，适合在计算资源有限的环境中进行目标检测任务。由于Shuffle Net V2具有较低的计算复杂度，将其作为YOLOv5s模型的主干部分可显著加速模型的推理速度。

2）利用轻量级卷积（grouped shuffle convolution,GSConv）优化模型颈部部分的标准卷积。GSConv是结合了深度可分离卷积（depthwise convolution,DWConv）和Shuffle Networks的卷积模块。DWConv可在空间压缩和通道扩展时减少参数的使用，从而降低网络的计算复杂度。同时，添加了Shuffle Networks用来传递输入，提高了对图像的特征提取。GSConv能够使卷积的输出接近原始网络的输出，在提高推理速度的同时提高网络的准确率。

1、YOLOv5s算法

2020年，Ultralytics公司发布了YOLOv5系列算法，该系列包含5个版本分别为YOLOv5x、YOLOv5m、YOLOv5l、YOLOv5s以及后期发布的支持移动端最小模型YOLOv5n。YOLOv5s是其中一个较小版本，具有较快的推理速度和较低的模型复杂度，适合在资源受限的环境下进行实时目标检测，其优势在于速度较快，适用于轻量级目标检测任务。YOLOv5s的网络架构主要包含输入端（Input）、主干网络、颈部和检测头部。

1）主干网络：YOLOv5s采用CSPDarknet53作为其骨干网络，这是一种深度的卷积神经网络，能够从输入图像中提取图像特征。CSPDarknet53通过跨阶段连接方式来融合特征，能够有效缓解梯度消失的问题，并且降低网络参数的数量。

2）颈部：YOLOv5s使用了路径聚合网络（path aggregation network,PAN）和特征图金字塔网络（feature pyramid networks,FPN）实现多尺度特征融合。PAN通过向上传递定位特征，将浅层特征图的位置信息传递给深层，从而增强了多尺度特征图的定位能力。FPN则从上向下传递语义特征，将深层特征图的语义信息传递给浅层，增强了多尺度特征图的语义表达能力。最后将语义特征和定位特征进行融合，使其都包含在特征图中，可有效降低网络中的重复计算，提高模型的计算效率。

3）检测头部：YOLOv5s的头部网络主要包括3个不同尺度的检测头，分别用于检测小、中、大尺寸的目标。每个检测头由一系列卷积层和全连接层组成，用于预测目标的类别、位置和置信度等信息。

图1 YOLOv5s原始结构图

2、优化YOLOv5s算法

2.1 Shuffle Net V2优化模型主干

Shuffle Net V2[8]是一种轻量级神经网络架构，主要用于图像分类任务，其设计目的是实现通道混洗和分组卷积，提高轻量级卷积神经网络的性能，其结构如图2所示，其中图2a为卷积核步长（Stride）为1结构图，图2b为卷积核步长为2结构图。图3中通道分割是Shuffle Net V2中的一种操作，用于将通道按照一定比例（通常是均分）进行分割，将通道分成不同的组。Conv是标准卷积操作，可以对输入的特征图进行不同尺寸的卷积，从而提取不同层次的特征。BN代表批量归一化。DWConv将输入的每个通道分别进行卷积，而标准卷积是将所有通道混合在一起进行卷积。这样可以显著减少计算量和参数量，从而降低网络的复杂度。

图2 Shuffle Net V2结构图

连接操作是将特征图按照通道维度进行拼接的操作。通常用于将不同尺寸或者不同组的特征图进行融合，从而获得更丰富的特征表示。通道混洗将不同通道间的信息进行混洗，使网络在不同通道之间进行信息的交流和融合，增强了网络的表达能力。

首先将输入的特征图进行通道拆分，通常是按照通道数量的一半进行拆分，形成左右两个平行的分支。左分支：不进行任何操作，直接作为输出；右分支包含3个卷积操作，一般是1×1 Conv、3×3 DWConv和1×1 Conv，第一个1×1 Conv用于减少通道数量，从而降低计算复杂度，并且引入一定的非线性变换[9]。DWConv使用与通道数量相等的卷积核对应的通道进行卷积，将得到的结果在深度维度进行叠加，得到最终的输出。这个操作在卷积核数量很少的情况下可以保持输出质量，因此可以减少参数和计算量。具体来说，如果使用一个大小为k的卷积核，其参数数量为k×k×c＿in×c＿out，其中c＿in表示输入的通道数量，c＿out表示输出的通道数量。而使用DWConv，其参数数量则为k×k×c＿in。这种减少参数数量的操作可以在移动设备和边缘设备上提高深度学习模型的效率。第二个1×1 Conv用于恢复输出特征图的通道数量，使其与输入特征图保持一致。这样设计的目的是通过使用DWConv和1×1 Conv来减少计算复杂度，同时保持较好的特征提取能力。通道混洗操作对特征图在通道维度上进行顺序随机混洗，实现两个分支之间的特征信息融合，增加特征之间信息的交互和传递。

以上两种结构均采用1×1 Conv，可以缩小模型大小，并且精度下降的范围较小[10]。Shuffle Net V2分组卷积和通道混洗的设计增加了特征的多样性，并且引入更多的非线性变换，能够在减少网络参数和计算量的同时，保持较高的准确性。

CBRM模块结构主要由卷积层、批量归一化层、Re LU激活函数以及最大池化层组成[11]。表1为图片输入Shuffle Net V2后的处理过程，图片尺寸设为640×640，经过Shuffle Net V2网络后，通道数量为512，与原始模型的主干部分相比，优化后的主干的卷积层数量更少，通道数量也为原来的一半，模型的计算量和参数量也显著减少。

表1 Shuffle Net V2网络结构

2.2 GSConv优化颈部

GSConv主要通过DWConv和添加Shuffle Networks来传递输入，提高网络的泛化性能。利用标准卷积对图像进行特征提取时，会将图像的空间信息逐步传递给通道信息，在这个过程中，每次进行空间压缩和通道扩展都会造成语义信息的丢失。在通道之间，密集卷积计算能够最大程度地保留各个通道之间的隐藏连接，而通道之间的稀疏卷积则完全破坏了这些连接。GSConv可使卷积的输出接近原始网络的输出，用较少的参数提高推理速度和准确率。GSConv的网络结构如图3所示。

图3 GSConv的网络结构

假设C1为输入通道，C2为输出通道。首先该模型使用一个标准卷积对输入进行处理，这可将输入数据的通道数量减少到一半。接下来，经过一个深度可分离卷积层，通道数量保持不变。最后，将这两次卷积操作的结果拼接在一起，并进行混洗操作。混洗操作的目的是将通道信息均匀打乱，从而增强提取到的语义信息，并加强特征信息的融合。GSConv结合了DWConv和标准卷积，再加入Shuffle模块，将通道打乱。DWConv能在一定程度上减少模型参数，并且可以运用在任意卷积上，更具普适性[12]。因此本文将模型中的标准卷积替换为GSConv，以最大程度降低计算成本并且保持准确率。但在模型的各个阶段都使用GSConv会不断增加网络的深度，这会增加数据流的阻力，延长推理时间。但是，当这些特征映射到达模型的颈部时，特征已足够简化（通道尺寸达到最大值，宽度和高度尺寸达到最小值），因此不需要转换。所以，更好的选择是仅在颈部使用GSConv，在模型的主干部分仍使用标准卷积。

本文提出的采用Shuffle Net和GSConv优化的YOLOv5s检测模型，其检测过程如图4所示。首先，将数据集样本划分为训练集和测试集，将训练集样本尺寸调整为640×640×3，用于训练优化后的模型。其次，使用模型训练后生成的模型权重对测试集样本进行验证。

图4本文算法检测过程

3、实验结果

3.1实验环境和数据集

本实验采用AMD品牌的EPYC 7551P的CPU,NVDIA Ge Force RTX 3070的GPU，其显存为8 G。采用的python编程语言，框架为Pytorch 1.7.1版本，Cuda版本为11.0.3,Python为3.8版本。数据集的数量为510张红外图像，输入的图片尺寸为640×640×3，共训练300个轮次。

使用的热斑红外图像的拍摄时间为夏季中午12:00，天气晴。使用label Img1.8.6版本对数据集进行光伏热斑的标注。随机选取80%的数据集作为训练集和验证集，剩余20%作为测试集。图5是数据集中光伏热斑红外图像示例，图5点状部分为光伏组件产生热斑的区域。

图5数据集样本示例

3.2实验评估

为更好地评估改进模型的综合性能，本文从模型参数量（parameters,Params）、浮点运算次数（floating point operations,FLOPs）、每秒帧数（frames per second,FPS）、模型体积、精确率（Precision)5个方面评价模型的综合性能。

参数量用来评估模型的空间复杂度，其变化可用于了解模型的学习状态和模型的容量，与每个卷积层的空间复杂度（space complexity,S）有关：

式中：K2——标准卷积核的大小；Cin——输入特征图的通道数量；Cout——输出特征图的通道数量；M2——卷积输出的特征图大小。

浮点运算次数用来评估模型的时间复杂度（time complexity,T），是指在模型推理阶段，计算模型中所有乘法和加法操作的总数[13]。模型的时间复杂度与每个卷积层的时间复杂度的有关：

传输速度（FPS,F）的计算公式为：

式中：N——处理图像的数量，帧；t——处理这些图像所花费的时间，s。

精确率（Precision,P）的计算公式为：

式中：TP——正确分类出热斑效应的图像数量；Fn——将未出现热斑效应的图像错误预测为出现热斑效应的数量。

3.3对比实验

为对比优化后YOLOv5s模型的性能，选择FasterRCNN、SSD、YOLO系列（YOLOv5n、YOLOv5m、YOLOv5s、YOLOv7和采用轻量化网络Ghost Net优化YOLOv5s的主干网络的模型）与本文模型进行训练和测试。实验结果如表2所示，YOLOv5s的精确率为93.6%，相较于YOLOv5n高出10.9个百分点，相较于YOLOv5m高出4.5个百分点，相较于YOLOv7高出2.3个百分点，YOLOv5s相比其他YOLO系列模型的FPS基本持平，但YOLOv5s有较高的精确率。本文模型的FPS为63.7，相较于传统模型SSD提升了26.9，相较于Faster-RCNN提升了15.5，本文模型的精确率为91.4%，相较于SSD提升了12.9个百分点，相较于Faster-RCNN提升了7.4个百分点，因此YOLO系列模型在处理速度和精确率上都高于SSD和Faster-RCNN。与采用轻量化网络Ghost Net优化YOLOv5s的主干网络的模型相比，本文模型在FPS高出11.1个百分点，精确率高出8.4个百分点。综上所述，相比于传统的深度学习网络，本文模型在检测速度和上准确率明显提高。采用Shuffle Net V2和GSConv优化后的模型在检测速度和准确率方面更具优势。

表2不同模型的检测结果

3.4消融实验

为分析Shuffle Net V2、GSConv对模型产生的效果，本文设计了消融实验，实验结果如表3所示。表3可发现采，用轻量化网络Shuffle Net V2优化YOLOv5的主干部分后，模型的参数量减少了6.17×106、FLOPs减小了14.07×109、模型大小减小了12.4 106,FPS提升了10.6帧/s，精确率减小了1.4个百分点。加入GSConv后，参数量又减少了0.11×106、FLOPs又减小了0.1×109、模型大小减小了0.2 106、FPS提升了1.2帧/s，精确率减小了0.8个百分点。最终，经过改进后的YOLOv5s模型与原始模型对比，仅牺牲了2.2个百分点的准确率，将参数量降低了89.5%,FLOPs降低了89.2%，模型大小减小了12.6 106，为原来模型大小的12.5%，同时，FPS提高了11.8帧/s。

综上所述，Shuffle Net V2和GSConv简化了模型的复杂度，显著减少了计算量和参数量，提高了检测速度，同时保证了较高准确率，能够满足生产环境的基本要求。

对改进后模型进行300轮训练，其可视化过程如图6所示。在训练过程中，训练集和验证集的定位损失曲线和目标置信度损失曲线呈逐渐收敛的趋势，且未出现欠拟合和过拟合的情况。因此优化后的模型表现出很好的学习能力。为了验证改进后YOLOv5s模型对光伏热斑的检测性能，在本文使用的数据集上进行了检测实验，可视化结果如图7所示，图7a为数据集原图，图7b为SSD算法检测的结果，图7c为Faster-RCNN算法检测结果，图7d为YOLOv5s检测结果，图7e为本文模型检测结果。其中，标注框上数字为检测到热斑的置信度。经过对比，本文算法检测到热斑的置信度略低于YOLOv5s模型，但仍能准确的检测到光伏组件上面的热斑。与另外两种算法相比，本文算法的置信度仍高于SSD和Faster-RCNN算法，具有较好的检测热斑的效果，能够满足实际应用的要求。

图6本文模型的损失曲线

表3消融实验结果

图7本文模型和其他模型检测结果对比

4、结论

为能够精准地识别出光伏组件的热斑，并能够定位到具体的位置，本文提出一种基于轻量化YOLOv5s的检测光伏热斑模型，通过实验的对比可得如下主要结论：

1）使用轻量化网络Shuffle Net V2将YOLOv5s模型中的主干网络进行优化，能够将整体的计算量降低近乎一个数量级，而且Shuffle Net V2使用了深度可分离网络，能够提高模型的特征提取能力。在实现减少网络的深度和计算量的同时，提高了模型的检测速度。

2）使用轻量化卷积GSConv替换YOLOv5s模型的标准卷积，能够进一步减少模型的参数量，GSConv使卷积的输出更接近于原始网络的输出，能够增加相关性，并实现了使用较少的参数达到较高的推理速度和精确率的目的。

参考文献:

[2]孙海蓉,李号.基于深度迁移学习的小样本光伏热斑识别方法[J].太阳能学报,2022, 43(1):406-411.

[3]孙海蓉,李帆.基于注意力机制的光伏热斑识别[J].太阳能学报,2023, 44(2):453-459.

[4]郭梦浩,徐红伟.基于Faster RCNN的红外热图像热斑缺陷检测研究[J].计算机系统应用,2019, 28(11):265-270.

[5]王道累,李明山,姚勇,等.改进SSD的光伏组件热斑缺陷检测方法[J].太阳能学报,2023, 44(4):420-425.

[7]孙建波,王丽杰,麻吉辉,等.基于改进YOLOv5s算法的光伏组件故障检测[J].红外技术,2023, 45(2):202-208.

[9]彭红星,何慧君,高宗梅,等.基于改进ShuffleNetV2模型的荔枝病虫害识别方法[J].农业机械学报,2022, 53(12):290-300.

[11]赵军.基于深度学习的小样本图像分类方法研究[D].西安:长安大学,2021.

[13]冒国韬.城市道路典型复杂场景下车辆检测方法研究[D].重庆:重庆交通大学,2022.

基金资助:河北省省级科技计划(22567643H);

文章来源:孙海蓉,刘永朋,周黎辉.基于轻量化YOLOv5s的光伏热斑检测定位方法[J].太阳能学报,2024,45(11):282-288.