太阳能是绿色能源的重要组成部分，保证光伏电站的稳定运行对国家能源发展至关重要[1]。在中国大规模建设光伏电站的过程中，光伏电站受到大量异物的入侵，尤其是分布式光伏电站，承受了巨大的破坏。为消除此类安全隐患，采用智能图像处理算法对分布式光伏电站周界进行自动检测势在必行[2]。目前，传统的光伏电站周界检测方式主要包括人工巡检和视频检测法[3]。人工巡检依靠运维人员定期进入电站进行检查，而视频检测法则是运维人员通过查看摄像头所拍摄的监控视频检测运动目标。这两种方法不仅费时费力，而且检测效率低下，准确性较差。因此，迫切需一种更高效、准确的检测方法来保证光伏电站的安全运行。

随着深度学习和神经网络技术的不断发展，智能检测逐渐代替人为检测成为周界入侵检测的主流。管岭等[4]提出注意力机制与轻量级网络相结合的异物检测算法；王瑞峰等[5]基于CLAHE算法和CIOU损失函数，提高了小目标和被遮挡入侵异物的检测精度；肖曾翔等[6]提出基于K-均值和深度可分离卷积相结合的异物检测算法。与此同时，为应对光伏电站监控拍摄时由于低照度和恶劣天气所造成的图像可见度低的情况，引进红外图像来增加信息的获取[7]，以实现在各种复杂环境下的实时检测；文献[8]引入了一个卷积层、池化层和全连接层组成的网络结构，通过对比输出的置信度权重来决定红外以及可见光图像的融合权重；Devaguptapu等[9]则根据红外数据集引入Cycle GAN来生成伪可见光数据，再将提取到的图像特征图进行融合，以提高对红外目标的检测精度。然而，基于上述神经网络的目标检测算法检测精度低、图像融合效果不佳，无法实现全天候的检测，复杂的环境限制了其在分布式光伏电站场景的应用。

针对分布式光伏电站周界入侵问题，本文构建真实的光伏电站入侵异物数据集，并基于DETR(detection transformer）检测算法做出改进[10]。将红外图像与可见光图像进行特征融合，并结合软权重分配策略以及损失函数的优化，构建分布式光伏电站检测模型以解决人为检测对人以及动物的入侵检测能力不足的问题。

1、相关工作介绍

国家工信部最新出台的智能光伏产业创新发展行动计划指出，为降低光伏电站的运维成本并提升服务效率，需建设智能光伏系统，包括建立智能区域集控运维中心和运维平台。近年来，国家对太阳能的重视不断增加，分布式光伏电站的规模不断扩大，随之也出现了一系列对光伏电站造成损害的问题：

1）人为盗窃破坏将影响正常发电秩序；

2）鸟类粪便和鸟窝对光伏组件的破坏将降低发电效率；

3）鼠类对光伏电缆的撕咬将会造成安全隐患。

这些问题若不能及时发现并修复，将对光伏电站的运行造成巨大影响，严重损害发电效益。

基于深度学习的周界入侵检测方法采用监控相机拍摄图像，结合相关计算设备，可实现自动检测，且具有低成本、高检测精度和强鲁棒性的优点。近年来，基于Transformer神经网络的目标检测算法正成为一个新的研究方向[11]，它能很好地理解整个图像的语义和语境。DETR是一种基于Transformer的目标检测模型，它采用端到端的结构，消除了训练过程中的锚框计算，能直接输出预测结果，具有良好的检测精度。

目前，国内对分布式光伏电站周界入侵的智能检测研究较少，本文基于DETR提出一种周界入侵检测算法VT-DETR，以实现分布式光伏电站周界的自动检测，提高检测效率，提升恶劣环境下的检测能力，降低人工运维成本，可更好地保证光伏电站的安全运行。

2、融合可见光与红外图像的周界入侵算法研究（Visual-Thermal DETR)

2.1周界入侵算法概述

针对传统人工检测效率低、准确性差的问题，本文提出一种基于深度学习的分布式光伏电站周界入侵检测算法，算法流程如图1所示。

图1周界入侵检测算法流程

首先对采集到的异物图片进行图像预处理，通过旋转、裁剪、变换饱和度等方式对数据集进行扩充，之后用Label Img对扩充后的数据集进行标注，将标注后的数据集划分为训练集和验证集；将得到的训练集输送进神经网络模型训练，对比验证集，比较训练得到的检测结果是否符合要求；根据检测效果修改参数，最终得到最优检测结果。

2.2 DETR模型

原始的DETR模型是由Facebook于2020年提出的基于Transformer的端到端的目标检测模型[12]，主要由3部分组成，即主干网络（Res Net）、Transformer和预测层（feed forward network,FFN）。图像先经过Res Net进行特征的提取，再将提取的特征与位置编码一同输入到Transformer的编码器（Encoder）部分，编码器的最后一层会输出一定量的对象查询，将其作为输入传输进Transformer的解码器（Decoder）部分，解码器的输出会传递给一个前馈网络，进行类别、位置或无目标类的检测。最后将检测结果与真实值通过匈牙利算法进行二分图匹配，即对预测集合和真实集合的元素进行一一对应，使匹配损失最小。

DETR的核心在于将目标检测问题转化为直接集合预测问题，并利用Transformer的自注意力机制根据目标和全局上下文的关系，得出检测区域。

2.3 VT-DETR算法原理

如图2所示，基于DETR的改进式光伏电站周界入侵检测的深度网络框架主要由4部分组成，依次为：以残差网络resnet50为主干提取网络的双通道融合模块[13]、软权重分配策略、基于Transformer的Encoder-Decoder模块、前馈神经网络预测模块，从而有效融合红外信息与可见光信息，获取更全面的图像特征。

首先，将可见光图像与红外图像分别输入Res Net提取图像特征，将二者特征图融合，得到新的特征图。随后将所得特征图转换成一一对应的序列，并编码为向量序列。对每个新生成的序列，使用位置编码器进行编码，根据赋予的编码顺序将所有序列连接成一个整体序列，作为Encoder的输入。与此同时，构建软权重策略，将提取特征后的红外特征图与随机的对象查询分配权重后输入进Decoder部分，以动态的方式弥补红外与可见光融合后造成的信息损失。最后将Decoder的输出传输至前馈神经网络预测模块以获取目标的类别与预测框信息。

图2改进后的双模态特征融合检测网络

2.3.1双通道融合网络

本文将DETR原有的单通道网络扩展成双通道网络，即可见光通道和红外通道，二者均采用Resnet50作为特征提取网络。如图3所示，首先，通过卷积提取可见光图像的特征，然后对所得特征图进行归一化操作。接着，通过应用Re Lu激活函数，得到4层残差块，分别标记为B1、B2、B3和B4。其中，B4层随卷积层数量的增加，包含了最丰富的语义信息。类似地，对红外图像进行处理，其中C4层包含了最丰富的语义信息。将B4和C4两层残差块中的特征图进行堆叠，并使用连接（Concat）函数将二者在通道维度上实现融合[14]，得到最终的特征图，表示为[C,H,W]的矩阵，其中C表示为通道数，H、W分别表示为高度和宽度。将该矩阵通道数通过卷积降维到固定值D，再使用拉直（Flatten）函数将HW维度拉平得到矩阵[D,HW]，最后转置得到序列[HW,D]。

图3双通道融合过程

在将该序列输入进编码器前，需先将序列中每个最小的独立单元通过词嵌入转换为向量表示，同时为引入序列中的位置信息，使用正弦和余弦函数生成固定的位置编码向量，表示为式（1）和式（2），将其与输入的词向量相加，以提供每个词向量的位置信息，从而识别出语言中的顺序关系。

式中：rpos——词向量位置；d——词向量维度；i——词嵌入维度。

2.3.2软权重分配策略

考虑到红外图像与可见光图像融合的过程中势必会造成信息的损失，为弥补红外信息的丢失，本文提出软权重分配策略[15]。其主要由双线性插值模块、多头注意力模块与软权重分配模块3部分构成。双线性插值法利用原图像目标点附近4个最近邻的像素点，计算出目标点的像素值，从而将特征图恢复到高分辨率，如图4所示。该方法在4个像素点的行和列两个方向上各进行一次插值运算，表示为：

式中：i——x轴整数值；j——y轴整数值；u——x轴小数增量；v——y轴小数增量。

图4双线性插值操作

多头注意力模块如图5所示[16]。新生成的图像通过线性变换得到与多头注意力模块输入相匹配的查询（query、Q）、键（key、K）和值（value、V）表示，将Q与所有K计算相似度，得到每个K对应的V的权重系数，再经过softmax激活函数计算得到权重，将该权重与对应的V加权求和得到各个注意力头的输出。使用Concat函数连接所有注意力头的结果，最后通过线性变换将其映射到最终的输出空间中，具体计算方法表示为：

式中：dK——K的维度；M——变换权重矩阵；headi——第i个注意力头；h——注意力头的总数量。

图5多头注意力模块

多头注意力模块的优势在于提取图像特征时能关注不同区域尺度的特征，有效捕捉不同尺度的特征信息；同时，可根据不同的场景自适应地选择重要信息，尽可能地保留红外图像的热辐射特征，以弥补可见光与红外图像融合时红外信息的损失。在多头注意力模块提取红外图像特征后，把所得特征图与随机的定量查询共同输入进软权重模块分配权重。软权重模块将红外特征图与定量查询的模型参数组合成一个共享的参数矩阵，在训练过程中根据不同的输入数据来调整该参数矩阵，以适应不同的需求，通过将矩阵的参数共享，从而减少参数数量，降低过拟合的风险，加快模型训练速度，提高泛化能力。

2.3.3损失函数优化

DETR的边界框损失由GIo U损失函数和L1损失函数构成，GIo U损失函数表示为：

式中：A——预测框面积；B——真实框面积；C——能包住A和B的最小封闭面积；LGIo U——GIo U损失函数。

在实际的训练过程中，离群值和噪声的出现会严重影响模型的训练性能和泛化能力，为获得更稳定的梯度信息，采用梯度更加平缓的Smooth-L1损失函数来代替L1损失函数[17]可有效提高模型的鲁棒性，其计算式为：

式中：x——预测框和真实框之间的数值差异。

在计算边界框损失时，Smooth-L1损失函数计算了预测框与真实框横纵坐标值及长宽数值，GIo U损失函数计算了预测框与真实框之间的重叠损失，将以上两种损失函数融合作为本文的边界框损失，可表示为：

式中：Lbox——由GIo U和Smooth-L1损失函数构成；bi——第i个目标的真实框坐标；bs(i)——第s(i)个目标的预测框坐标；λGIo U——GIo U损失函数的权重系数；λSmooth-L1——Smooth-L1损失函数的权重系数；LSmooth-L1——Smooth-L1损失函数。

在训练过程中，Smooth-L1完美结合了L1和L2损失函数的优点，当预测框与真实框的数值相差较大时，可有效抑制反向梯度，避免梯度爆炸；当预测框与真实框数值相差较小时，也可使模型更快得收敛。

3、实验与分析

3.1数据集及预处理

本文数据集通过可见光、红外双光摄像头拍摄获得，共得到1184张图像对（可见光与红外图像一一对应），重点对鸟、松鼠、人3类目标进行研究，如图6所示。由于数据集数量偏少易造成训练模型的过拟合，因此对所得数据集进行数据增强，采用裁剪、旋转和亮度变换等操作，将图像总量扩充至3698张图像对。将扩充后的数据集按8∶1∶1的比例划分为训练集、验证集和测试集，共得到训练集2958张图像对，验证集370张图像对，测试集370张图像对，最后使用Label Img对所有样本进行标注。

图6数据集

3.2性能评价指标

本文选用平均准确率（average percision,AP）、平均精度（mean average percision,m AP）以及检测速度（franes per second,FPS）来对模型的性能进行评价。AP由准确率P(percision）与召回率R(recall）计算得出，m AP即对所有的AP求平均值。式（11）和式（12）为准确率与召回率的计算公式，式（13）和式（14）为平均准确率与平均精度的计算公式。

式中：δTP——正确检测数量；δFP——错误检测数量；δFN——漏检数量；N——目标检测类别数量；δAP——以P-R为横纵坐标构成的曲线所包围的面积；δm AP——各类别AP的均值。

3.3模型训练策略

实验环境：深度学习框架为Pytorch,GPU型号为NVIDIA Ge Force RTX 3090 Ti,24 GB显存；CPU型号为Intel Xeon E5-2680 V4@2.40 GHz,14核，125 GB内存；操作系统为Ubantu-18.04,CUDA版本为11.4,Python版本为3.9.7。

实验参数：优化器为Adam W,batch＿size设为8，训练轮次设为300，其中骨干网络初始学习率为0.00001，其他部分初始学习率为0.0001，权重衰减率为0.0001。

如图7所示为算法在验证集上训练过后所得的平均精度曲线。最终准确率低的为原始DETR算法，最终准确率高的为本文改进后的DETR检测算法。从图7可看出，原始的DETR算法在约210轮次时收敛于m AP(IOU=0.5)=0.88附近，而改进后的本文算法在220轮次时收敛于m AP(IOU=0.5)=0.92附近。这证明改进后的算法可更准确地识别目标。

图7改进前后m AP变化曲线

图8所示为损失函数的迭代图。从图8可知，原始的DETR算法在第200轮次时逐渐收敛，最终稳定在约2.21处；在换成Smooth-L1损失函数后，初始损失值约为9.5，最终稳定在约2.10处，这证明改进后的预测框可更加逼近真实框。

图8改进前后损失函数迭代图

3.4消融实验

为验证本文算法改进的有效性，将DETR作为基线模型，以m AP为性能评估指标，加入不同改进策略后的实验结果如表1所示。表1中第一行为原始的DETR算法，m AP值为88.51%；实验A加入了红外图像通道，实现可见光与红外双通道的融合，其m AP值达到89.93%，提升了1.42个百分点；实验B加入软权重分配策略，m AP值为91.24%，提升了1.31个百分点；实验C优化了损失函数，m AP值为92.08%，提升了0.84个百分点，所有的改进策略使m AP值提升了3.57个百分点，证明本文算法的改进可有效提升检测的精度。

表1 VT-DETR的消融实验

3.5横向对比实验

为更全面地评估本文算法的有效性，将本文算法与当前主流的目标检测算法SSD、Centernet、Faster-RCNN以及YOLOv5进行比较，以m AP和FPS作为模型检测精度和工程化的评价指标。在同等实验条件下，结果如表2所示。由表2可知，SSD和Center Net精度较低，Faster-RCNN的检测精度可达到85%以上，但是检测速度较慢，相比之下DETR的检测精度更高，本文在DETR的基础上进行改进，检测精度超过了90%，达到92.08%，提升3.57个百分点。

表2本文模型与其他模型检测结果对比

为更加直观地感受改进前后算法的检测效果，选用训练后的最佳权重对同一张图像进行测试，并将测试结果显示在可见光图像上。图9中第一行为DETR算法的检测结果，第二行为改进后的DETR算法检测结果。在白天的检测中，改进后的算法在置信度上有明显提高，提升了5～9个百分点，更加精准地检测出入侵电站的目标；在雾天和夜晚的恶劣环境下，原始的DETR算法未将目标全部框出，出现了漏检，而改进后的算法可在雾天以及夜晚环境下将目标以较高的置信度检测出。

图9算法检测效果对比图

4、结论

1）针对现有的人工检测和传统目标检测算法对分布式光伏电站的周界入侵检测效率低且容易造成漏检的现象，提出一种基于DETR的改进检测算法VT-DETR，并构建3698张包含鸟、松鼠和人的光伏电站异物数据集。

2）通过加入红外图像进行可见光与红外图像的特征融合、加入软权重分配策略弥补融合过程中特征信息的损失以及利用Smooth-L1改进损失函数提高模型的鲁棒性，最终建立了光伏电站的周界入侵检测模型。

3）实验结果表明，改进后的DETR算法平均检测精度达到92.08%，高于当前的主流算法SSD、Certer Net、FasterRCNN以及YOLOv5，在与原始的DETR算法进行比较时，m AP提高了3.57个百分点，验证了本文方法在分布式光伏电站周界入侵检测上的有效性。

参考文献:

[1]蒋兴群,刘波,宋力,等.基于改进YOLO-v3的风力机叶片表面损伤检测识别[J].太阳能学报,2023, 44(3):212-217

[2]周颖,王如意,袁梓桐,等.一种高效双路径注意力太阳电池缺陷检测网络[J].太阳能学报,2023, 44(4):407-413.

[3]郭保青,杨柳旭,史红梅,等.基于快速背景差分的高速铁路异物侵入检测算法[J].仪器仪表学报,2016, 37(6):1371-1378.

[4]管岭,贾利民,谢征宇.融合注意力机制的轨道入侵异物检测轻量级模型研究[J].铁道学报,2023, 45(5):72-81.

[5]王瑞峰,陈小屹.基于改进YOLOv5的轨道异物入侵检测算法研究[J].云南大学学报(自然科学版),2023, 45(4):799-806.

[6]肖曾翔,徐启峰.基于改进卷积神经网络的变电站异物入侵识别[J].科学技术与工程,2022, 22(4):1465-1471.

[7]宁欣,田伟娟,于丽娜,等.面向小目标和遮挡目标检测的脑启发CIRA-DETR全推理方法[J].计算机学报,2022, 45(10):2080-2092.

[13]徐硕,邓艾东,杨宏强,等.基于改进残差网络的旋转机械故障诊断[J].太阳能学报,2023, 44(7):409-418.

[15]赵明,张浩然.一种基于跨域融合网络的红外目标检测方法[J].光子学报,2021, 50(11):339-349.

基金资助:浙江省重点研发计划(2021C04030);浙江省基础公益研究计划(LGG21F030004);浙江省“尖兵”“领雁”研发攻关计划(2022C04012);

文章来源:侯北平,陈家豪,朱昱臻,等.基于双模态融合的光伏电站周界入侵检测研究[J].太阳能学报,2024,45(11):289-295.