电网不断发展，输变电系统也不断建设，该系统主要包含输电线路和变压器，通常情况下输变电建设在室外环境中[1]，因此，在建设前需对其规划建设的环境实行勘测，获取勘测数据。输变电勘测数据中，包含图形、属性等多种勘测数据，其是输变电设计的主要依据[2]，该数据直接建设后输变电的可行性和可靠性。由于输变电野外勘测数据的类别、结构较为复杂[3]，因此，如何有效、可靠管理所有的输变电野外勘测数据，是电力系统建设规划的重要问题。在无线通信环境中，实现数据传输和资源共享的一种技术，统称为移动计算技术；该技术具有移动性、网络条件多样性等特点，在数据管理中具有良好的应用效果[4]。针对输变电野外勘测数据管理问题，刘胜等人对此展开研究后，提出基于FPGA的数据存储方法[5]；赵会群等人在分析输变电野外勘测数据管理需求后，研究基于密度划分的勘测数据存储方法[6]。Fahim提出了一种基于时间序列成像的传输线用于检测和分类特征提取模型的自注意卷积神经网络框架[7]。采用离散小波变换对故障电压和电流信号进行去噪。上述方法在应用过程中，均能够实现数据的有效存储，但是，对于数据的复用仍需进一步验证。因此，本文研究基于数据挖掘的输变电野外勘测数据识别及存储方法，该方法结合移动端和服务器端结合实现输变电野外勘测数据识别和存储。

1、输变电野外勘测数据识别及存储方法

1.1 识别及存储框架

输变电野外勘测数据识别和存储，是输变电系统规划和设计的依据，因此该数据的可靠识别和安全存储尤为重要。本文提出基于数据挖掘的输变电野外勘测数据识别和存储方法，方法的整体框架如图1所示。

图1 输变电野外勘测数据识别及存储框架

该方法主要由两个部分组成，分别是移动端和服务器端，前者主要实现输变电野外勘测数据的采集以及临时存储，后者主要实现野外勘测数据的汇总和管理。

(1)移动端：该端采用移动操作系统中的MVP模式完成，该模式由模型层(Model)、逻辑处理层(Presenter)以及视图层(View)组成，其中，Model层是输变电野外勘测数据的缓存、数据服务提供等均是在该层中完成；Presenter层是Model和View两个层之间的实现交互的桥梁，可完成所采集的全部勘测数据的交互、调用、查询以及传输等各项业务逻辑；View层主要是实现结果展示、是数据应用面向用户提供服务的窗口。

(2)服务器端：该端主要是依据云服务系统完成，该模式共由三个层组成，分别是基础设施即服务层(IaaS)、平台即服务层(BaaS)和软件即服务层(SaaS)，其中，IaaS是该端的基础层，主要用于基础云资源的统一管理，充分利用现有资源；并且可通过调度程序，将虚拟化计算、存储以及相关的网络资源实行分配，且以用户的需求为分配标准完成[8];BaaS是在IaaS层的基础上，提供输变电野外勘测数据采集提供服务接口以及虚拟化硬件资源；对输变电建设规划项目所需的全部数据实行有效管理，并且，接收移动端上传的勘测数据，同时设有访问和下载接口，为移动端提供数据的访问和下载服务；SaaS层则是提供服务的窗口，与移动端相连接，提供相关服务。

移动端是调查人员在进行野外数据勘测时，携带的相关设备和工具，完成输变电建设规划区域的野外数据勘测和采集，并具有临时存储功能；该端采集的野外勘测数据传送至服务器端，该端的空间存储中心对全部的数据实行汇总和管理，为输变电的建设和规划提供可靠数据。由于输变电建设工程量较大[9]，其中架空线路的跨域较大，可能会经过多个区域，因此，野外勘测数据量较大，为保证海量野外勘测数据的有效存储，服务器端在进行野外勘测数据存储时，采用基于云边协同的数据压缩存储方法，实现大规模野外勘测数据的识别和存储；并且，在输变电规划过程中，相同区域会进行多个线路规划，因此，需依据相同的野外勘测数据完成，基于此在该端引入基于动态局部敏感哈希算法(Dynamic-LSH)与加权k近邻算法的缓存数据选择策略，获取与输入相似程度最高的数据，获取所需数据，实现勘测数据复用。

1.2 基于云边协同的输变电野外勘测数据压缩存储模型

由于云服务平台和各个物理移动端之间距离较远，在进行数据传输、存储过程中会发生响应延时，因此，服务器端在云端引入边缘计算，形成基于云边协同模型，边缘计算极大程度接近移动端的移动设备，可在边缘位置就实现野外勘测数据的压缩存储，降低响应延时[10]，高效完成输变电野外勘测数据压缩存储。云边协同模型在进行输变电野外勘测数据压缩存储时，模型中部署了改进的DCS-SOMP联合重构边缘算法，该算法是基于K-SVD字典学习算法和同步正交匹配追踪算法(Synchronous OMP,SOMP)形成。

输变电野外勘测数据的采集是按照区域完成，因此，在云边协同模型中，通过改进的DCS-SOMP联合重构边缘算法对输变电野外勘测数据实行压缩时，也是按照分区完成。如果每一个分区内获取的勘测数据，使用的字典原子相同，每一个勘测节点获取的野外勘测数据长度为n，则可得出：

式中：m表示勘测值的数量；Ym×s表示勘测值；Dτ×n表示上传至云端的字典原子，其数量为；ψ表示稀疏矩阵；Φ表示勘测矩阵；SNRdef表示最低重构信噪比。

勘测矩阵的长度m和的结果，直接影响上传至云端的勘测结果，因此，云端采用组合的方式，处理各个边缘传送的字典原子，以此形成完备字典：Dk×n，总原子数量为k，对应完备字典。各个分区数据对应的稀疏表示系数为θn×s，即：

算该分区的原始信号X'n×s，计算公式为：

完备字典的建立详情如下所述：

(1)上传字典原子di至边缘节点，Dk×m中的第k个原子为Dk，计算di和Dk之间相关度ri,k:

如果ri,k低于阈值，表示上传到云端的di和Dk间的相关度小，则将di作为云端稀疏字典原子。

(2)组合所有的di，形成过完备稀疏字典d'k，并对其实行正则化处理，以此降低各个字典原子之间的相关性，其计算公式为：

(3)对d'k实行归一化处理形成新的字典原子为：

(4)在步骤(3)的基础上，接收移动端各个移动节点传送的野外勘测数据后，通过分布式压缩算法，对接收的勘测数据实行压缩处理，计算并对压缩后勘测数据的存储可恢复性实行验证，保证压缩存储后勘测数据的可用性，完成输变电野外勘测数据的压缩存储。

1.3 野外勘测数据复用

输变电规划过程中，在同一区域内输变电规划所需的野外勘测数据相同或者相似，因此，本文方法在完成输变电野外勘测数据的识别和存储后，需保证存储数据的复用，本文基于动态局部敏感哈希算法(Dynamic-LSH)与加权k近邻算法的缓存数据选择策略(Weighted-KNN)结合完成，该方法在云端的存储服务器中，获取相似勘测数据，获取可用的复用结果，该方法的整体结构如图2所示。

图2 野外勘测数据复用流程

该方法在匹配复用数据时，先通过Dynamic-LSH构建勘测数据结构，获取边缘服务器中的存储的勘测数据，将其输入至构建的数据结构中，形成相似数据集合；获取该集合后，通过Weighted-KNN对其实行选取，实现勘测数据的类别划分；并对划分的各个类别勘测数据赋予权重，确定其中权重值最大的数据类别，将其作为判断输入至数据结构中的勘测数据类别的标准，确定该勘测数据即为可复用的野外勘测数据。

采用Weighted-KNN对勘测数据实行权重赋予时，以各个类别勘测数据量为基础，结合各个勘测数据和输入数据之间的欧式距离完成，即某类别中勘测数据数量越多，其权重值越大，欧氏距离越远，则权重值越小。

将输入的输变电野外勘测数据key和其对应的计算结果value，组成一个键值对，用(key,value)表示，依据Dynamic-LSH获取的相似野外勘测数据集合和输入key0的原始勘测数据，计算该集合中的数据和key0之间的距离，依据计算结果得出距离最近的野外勘测数据，其数量为k，在此基础上可得出集合，其公式为：

式中：j表示勘测数据划分的类别，对应第k个勘测数据。

Weighted-KNN在对勘测数据集实行选取过程中，key0和data-setk均为已知，获取data-setk中与value结果一致的野外勘测数据，定义两者属于为相同类别；计算其中的样本数量，nm为valuem的数量，其中m[1,j]。则属于valuem类中野外勘测数据(keyi,valuem)的权重计算公式为：

设置valuem的判别函数，其计算公式为：

式中，γ0表示初始化相似度阈值，fm表示轴向量，对应模坐标，计算和向量F，在此基础上得出fm和F之间的余弦值γm，其计算公式为：

依据该公式，获取其中j个最大γmax值，其对应的数据类别用valuemax表示，如果γ0<γmax，则输出valuemax结果作为key0的归属类别；反之则输出null，表示野外勘测数据查询失败。

Weighted-KNN对野外勘测数据集合实行再选择时，输出的value结果有两种情况：

第一种情况：value=null，表示移动边缘服务器中没有与输入勘测数据相同或者相似的数据，此时，需通过边缘计算，求解输入野外勘测数据对应的任务。

第二种情况：value≠null，表示移动边缘服务器中有与输入勘测数据相同或者相似的数据，此时返回value结果，将其作为输入的野外勘测数据求解结果，即复用的野外勘测数据，传送至移动端用户。

2、实验结果分析

为测试本文方法的应用效果，将本文方法用于某电力企业输变电建设前，野外数据勘测中。该电力企业需扩建360 kV的输变电系统，包括输电线路和变压器，由于扩建地区为城市规划区域重建区域，其在规划过程中，输电线路需穿过多个高山、树林以及田地和建筑区，因此，需可靠采集规划区域内的各项数据，为输变电的规划建设提供可靠依据。其中勘测的野外数据主要通过无人机、地质勘测设备完成，勘测的数据包含影像数据、数值数据以及信号数据。

为衡量本文方法对野外勘测数据的存储性能，采用存储时的总时延Ttotal作为衡量标准，测试不同大小数据量传输时的时延结果，应用要求时延结果低于0.5 s。其计算公式为：

式中：Pre表示接收概率；p表示给定值；Sij表示野外勘测数据量；B表示传输速率；表示最大时间间隔；表示时间片长度；w表示勘测数据接收的节点数量。

依据上述公式，计算本文方法在勘测速度不断增加的情况下，Ttotal的结果如图3所示。依据图3测试结果可知：在不同的传输数据量下，随着勘测速度的不断增加，输变电野外勘测数据传输时延结果较为平稳，波动范围不大，且满足应用要求，其中最大时延结果为0.5 s左右，最小延时结果为0.25 s左右，节点移动速度的增加，对于勘测数据的传输效果影响极小，并不影响本文方法对于数据的存储效果。因此，本文方法可保证勘测数据的高效传输，实现该数据的实时存储。

图3 野外勘测数据传输延时测试结果

为衡量本文方法的对野外勘测数据存储效果，采用存储数据的可用性Ar(p×e,e)作为评价指标，应用标准为94.5%以上。其计算公式为：

式中：β表示存数的野外勘测数据中，可正常利用的概率；q表示数据冗余程度；q×e表示数据块数量；e表示原始野外勘测数据块。

计算不同类别的野外勘测数据(即为影像数据、数值数据、信号数据)，在冗余度逐渐增加的情况下，Ar(p×e,e)的计算结果如表1所示。依据表1可知：随着数据块中冗余度的逐渐增加，影像、数值、信号的可用性良好，其中影像数据的可用性最高值达到98.75%、数值数据的可用性最高值达到99.04%、信号数据的可用性最高值为98.86%，主要由于本文方法在进行输变电野外勘测数据存储时，结合基于云边协同模型完成，保证勘测数据在云端即可完成压缩处理，避免存储过程中发生响应延时，可极大程度避免数据丢失或者损坏，则保证数据可用性高。

表1 野外勘测存储数据的可用性/%

图4 输变电野外勘测数据呈现结果

为测试本文方法的应用性，通过本文方法对输变电野外勘测数据实行识别和存储后，企业规划管理中心则通过移动端呈现不同类别输变电野外勘测数据的采集结果如图4所示；并且在此基础上，依据采集的野外勘测数据，进行输变电规划，获取其中架空线路的规划结果，如图5所示。依据图4和图5测试结果可知：本文方法可完成输变电规划所需的不同类型的野外数据的勘测，并获取勘测数据结果，查看勘测数据的详细情况，同时可进行存储的全部勘测数据查询和管理，为输变电规划提供数据依据；除此之外，规划中心能够依据勘测获取的各类数据，结合目标规划区域的需求，进行架空线路的规划，并生成规划效果图。因此，本文方法具有良好的应用性，能够满足输变电规划时的数据需求，为其提供全面、可靠数据。

图5 输变电规划结果

3、结束语

输变电规划作为电网建设中的重要环节，规划结果的合理性、安全性等，直接影响整个电网的后续运行状态，由于输变电的建设大多数位于较为偏僻且复杂的环境中，例如高山、树林等地，同时需穿越其他建筑物区域，因此，在建设前，需对输变电的待规划目标区域实行勘测，获取野外勘测数据。本文针对该勘测数据的可靠存储问题，提出基于数据挖掘的输变电野外勘测数据识别和存储方法，并对该方法的应用情况展开相关测试，结果显示：本文所提方法对于输变电野外勘测数据的采集性能较好，能够高效完成各类勘测数据的传输；并且，存储后的勘测数据应用性较高，能够为输变电的规划提供全面、可靠的勘测数据，保证规划结果的可靠性。

参考文献:

[1]聂慧莹,冯华,王文龙,等.山丘区输变电工程侵蚀环境及水土流失特征[J].水土保持研究,2022,29(2):50-56.

[2]姜赫,安军,李德鑫,等.基于实测数据的电力系统电压动态时空分布特性研究[J].电力系统及其自动化学报,2020,32(4):116-122.

[3]张稳,盛万兴,杜松怀,等.基于海量数据的配电网运行分析系统架构与技术实现[J].电力系统自动化,2020,44(3):147-153.

[4]王子强,李家璐,陈静鹏,等.基于移动Agent的电力调度管理系统设计与研究[J].电子器件,2020,43(2):255-260.

[5]赵会群,李春良.基于密度划分的数据存储方法与技术[J].计算机工程与设计,2020,41(9):2482-2487.

[6]招景明,张捷,宋鹏,等.一种高效的基于云边端协同的电力数据采集系统[J].电网与清洁能源,2022,38(5):49-55.

[8]李雷孝,邓丹,李杰,等.基于粒子群优化的全比较计算数据分发策略[J].计算机工程与应用,2021,57(15):109-117.

[9]郦睿翔,毛莺池,郝帅.基于近似匹配的移动边缘计算缓存管理方法[J].计算机科学,2021,48(1):96-102.

[10]蒋婵,梁俊斌,马方强,等.移动低占空比传感网中基于分段拟合压缩的数据容灾存储算法[J].电子学报,2020,48(12):2376-2383.

基金资助:国网江苏电力设计咨询有限公司科技项目(JE202204);

文章来源:苏永亮,周洪伟,崔厚坤,等.基于数据挖掘的输变电野外勘测数据识别及存储方法[J].自动化技术与应用,2024,43(11):120-123+204.