首页 > 论文范文 > 自然科学论文 > 数学论文 > 应用数学论文 > 南浔区地下管线数据管理中多网融合技术的运用

南浔区地下管线数据管理中多网融合技术的运用

2020-10-24 180 上传者：管理员

摘要：由于管线管理方式不完善，管线事故层出不穷。为减少管线挖断事故发生，本文基于多网融合技术，通过对南浔区现有地下管线数据现状分析，利用ETL工具对各管线权属单位预处理后的多源数据进行抽取、转换和加载，形成标准综合管网数据库。并以此为基础，建立南浔区地下管线综合管理平台，对管线的规划、建设、运行、管理等进行全生命周期监管，为进一步提高地下管线数据管理能力奠定了基础。

关键词：
南浔区
地下管线
多网融合
应用数学
数据管理
加入收藏

城市地下管网体系复杂庞大，包括多种多样的管线与设施，主要有给水、燃气、电力、通信、路灯、热力、广电、排水等。地下管线是城市血管，对地下管线的管理与保障是对城市生命线的保护[1,2]。

据调查资料显示，我国每年因城市地下管安全事故造成的经济损失高达450亿元，仅公开报道的事故平均每天就有5.6起，由于管道挖断造成的断水、断电、爆炸、燃气泄露等事故层出不穷，严重时还会造成人员伤亡[3]。管道事故成为危害社会安全的隐患，浙江湖州市南浔区也不可避免，2018年3月14日，南浔区某处的地下天然气管道因施工被挖掘机挖断并着火，所幸没有造成人员伤亡。管线事故的层出不穷，迫切需要采取相应手段，提高对城市地下管线数据的管理力度。

多网融合技术是指利用ETL等多种手段，联动各管线权属单位，汇集所有地下管线数据，将不同来源的数据进行抽取、转换和加载，形成地下综合管网数据库，便于进行统一管理和使用[4,5]。本文将多网融合技术应用在南浔区地下管线数据管理中，对多源异构数据进行融合建库及管理，实现对管线的规划、建设、运营、废弃等管线全生命周期管理和监督，对于减少地下管线隐患、保护南浔区公众的生命财产安全具有重要的意义。

1、地下管线数据现状

通过调查，发现南浔区的地下管线管理存在一些问题。

1)数据质量问题

目前，南浔区地下管网数据质量存在完整性、现势性等方面的问题，除度假区为新探测的数据外，其他区域内的路灯、热力等管网资料不全，仅有测绘院在2014年12月份普查的数据，数据的现势性不强。燃气公司虽有完整的管网资料，但都为纸质资料，需要经过数字化处理。数据质量还存在电力缺少电力井数据、电信管道缺少埋深信息等问题。由于数据质量问题，在管网规划、设计、施工时，无法准确掌握地下管网整体情况，容易造成管道挖断事故，存在极大的安全隐患。

此外，由于各权属部门业务需求的不同，管网数据的格式及属性也存在很大差异，数据重复采集，造成投资浪费，各部门间数据一致性问题严重，缺乏一个统一的数据标准，难以进行数据间的融合，为地下管网的综合管理和应用增加了难度。

2)条块分割，造成信息孤岛

地下管网数据包含给水、燃气、电力、通信、广电、路灯、热力、排水等，种类繁多且分属于不同管理部门，各部门仅对于自身权属范围内管网和业务有所掌握，各部门各自为政，缺乏统一管理平台，相互间信息不流通，存在“信息孤岛”，由此造成管道安全事故层出不穷，危及人民群众生活和生命财产安全。

3)缺乏合理的数据更新维护机制

目前，南浔区地下管网数据的数字化程度不高，且掌握在各权属单位手中，由各单位进行更新，存在数据更新管理困难等问题，管网信息的实时性和准确性也不能得到保障，缺乏合理的数据更新维护机制，难以为管网综合分析工作提供准确的数据支撑。

4)管网数据信息化管理手段不足

地下管网的信息化管理方法多集中于各专业管网独立管理，由各自权属单位或运营单位等组织建设，多数仅涉及某一类管网部分业务内容，缺少一个统计的数据管理平台，不便于有关单位对地下管网进行全盘统筹、整体分析。

2、多网数据融合

针对南浔区地下管线现状，建立数据标准规范，对南浔区现有管线数据进行收集整理，利用ETL工具进行地下管网数据多网融合，建成地下管线数据中心，以此为基础，建成南浔区地下管线数据管理系统，配以管网数据更新标准，建立长效运维机制，实现管网全生命周期管理。总体技术路线如图1所示。

图1总体技术路线

2.1数据收集整理

收集整理各权属单位管网综合数据，包括测绘院拥有地下管网综合数据及各权属单位的管网资料，经过预处理，将数据转换为数据库存储格式数据。

对于纸质资料及文本文件需利用相关软件进行数字化，形成数据库格式数据。将测绘院的管网数据与各权属单位管网数据进行比对，存在的问题点进行实地踏勘或探测，最终形成完整性、准确性和现势性都比较好的管网数据，为数据融合及更新应用奠定基础。

2.2制定数据标准

结合国家和行业标准，制定一套符合南浔区现状的地下综合管线数据融合的数据库标准规范，包括数据格式、坐标系统、入库比例尺、数据要素属性结构、编码及符号等内容，为南浔区多网数据融合及管网更新数据处理提供基本准则。

2.3多网数据融合

利用ETL工具进行数据融合，从各权属单位提交的管网数据库中，进行数据的抽取、转换、装载，实现从不同的数据源流向目标数据集中地的目标，从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的模型，将数据加载到数据库中。它包括3个阶段[5]:

1)抽取(Extract)。从不同来源的数据库中读取源数据。通过接口提取源数据，如ODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。

2)转换(Transform)。将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。

3)装载(Load)。加载经转换和汇总的数据到目标数据库中，可实现SQL或批量加载。

ETL工具的过程如图2所示。

图2ETL工具处理过程

1)数据抽取

连接各管线权属单位形成的管网数据库，由于各个数据源的数据结构不同，因此，进行数据抽取时需采用不同的读取方式，根据各个数据源的描述信息进行数据抽取，从各个数据源中抽取所需要的管网数据。

2)数据转换

由于数据源跨网段、跨区域分布，以及存在多个数据源的大量数据，本次数据同步采取有选择性的数据同步接入，通过数据挖掘技术将关键重要的基本信息数据和实施采集数据进行数据清洗、过滤，同时对数据进行重新审查和校验，目的在于删除重复信息、纠正存在的错误，达到所需数据的一致性。

3)数据装载

将多个数据源抽取的数据存储在临时数据库中，需保证内部所有数据装载成功后返回，否则将回滚，提高数据装载效率，保证数据的正确性。数据成功装载后，对综合管网数据进行数据检查，确认无误后导入到地下综合管线数据库中，实现地下综合管线的数据融合。

2.4综合管网数据库

将南浔区地下管网融合数据梳理入库，数据库采用Oracle，包括基础地理数据库、临时库、历史库、管网综合数据库、元数据库等，实现管网数据的综合管理，为构建综合管线管理系统提供数据基础。

3、地下管线综合管理平台

3.1应用体系架构

整个地下管线综合管理平台基于SOA思想设计，坚持数据、管理、服务、应用相分离的架构原则，在保持灵活性和扩展性的前提下，实现地下综合管网数据的管理、共享、融合和数据交换，可实现不同部门业务应用系统与平台服务的集成，实现地下管线数据的长效管理。

平台体系结构包括数据层、GIS服务层、统一开发接口层、WebServices认证层、应用层5个层次。它们相互联系，形成一个有机的整体，并通过建立贯穿不同层次的标准规范制度和安全保障体系，按照总体建设思路进行系统设计和建设。如图3所示。

图3应用体系架构

3.2主要功能模块

针对权属单位或管网数据测绘单位提交的管网成果数据及更新数据，基于ETL工具进行多网数据融合建库后，利用地下管线综合管理平台对南浔区地下综合管网数据进行管理，并能够根据制定的数据标准进行数据的完整性和一致性检查，获得满足制图与管理要求的数据。同时，能够根据需要将数据导出，主要具有视图显示、数据导入、信息查询、数据统计、图形输出、数据检查、数据管理、数据更新、辅助工具、系统管理等功能模块。

1)视图显示

视图显示包括放大、缩小、漫游、全显地图、地图刷新、上一视图和下一视图等功能，实现视图的浏览显示。

2)数据导入

更新各权属单位提交的管网数据，通过该功能，实现更新数据的一键导入，导入成功后，自动生成该类型管网的临时图层，实现与更新前数据的对比分析，支持更新数据的定位和查看。

3)信息查询

实现通过图查属性和属性查图两种方式进行信息的查询，根据地理空间信息或属性信息，实现对地下综合管网的查询，包括点选查询、矩形查询、综合条件查询等多种方式。

4)数据统计

通过对数据统计，实现对管网资产的梳理，掌握全库及任意区域内管线长度及管点数量，包含全库及区域管点数量统计、长度统计、条件统计等多种统计方式，并能够实现统计结果的输出打印，形成相应统计报表。

5)图形输出

裁剪某一区域，并可以打印输出某一区域的管网图形，辅助现场施工设计，很好地解决了由于对管网分布不了解而经常性地挖断管道的情况出现。

6)数据检查

针对多网数据融合及更新的管网数据，进行空间及属性信息的检查，包括数值范围检查、数据唯一性检查、结构性检查、管线连通性检查等多种数据检查方式保证管网数据的完整性和正确性，为地下管线综合应用提供精准的数据支持。

7)数据更新

对于检查无误的数据，实现数据的一键入库更新，保证数据的现势性。

8)辅助工具

通过图层管理实现对多种地下管网的分类展示;通过面积、角度量算等工具，辅助进行数据查看、计量等，为用户进行管网数据管理提供辅助手段。

9)数据管理

通过对历史数据管理、版本管理、元数据备份与恢复等，保障数据安全。

历史数据管理能够实现快速浏览历史数据，实现现势库与历史库的对比。历史库的建立是基于实体的增量设计，每一个对象修改(编辑、删除)后，都保存在历史库当中，在必要的时候可从历史库中进行还原。

版本管理能够实现多版本、多用户、多时态、长事务的管理，可以实现版本的新建、删除和切换。

元数据管理，在更新数据入库前，需填写数据更新信息表，数据更新信息表描述了更新数据的来源、获取方式、提供单位、数据范围等信息，是数据更新的重要参考信息。利用该功能可以将存储在服务器中的地下管网综合数据库备份到本地文件，也可以将本地文件恢复到数据库。

4、结束语

将多网融合技术应用到南浔区地下综合管理中，基于建立的数据标准规范，通过ETL工具将收集整理的全区地下管线数据进行数据抽取、转换和加载，转换为标准格式数据，存储在数据库库中，建成综合管理系统进行统一管理，形成了基于基础地理数据的管网数据全生命周期管理模式，既满足对现有管网资产梳理的需求，也便于进行管线分析应用，减少了因对施工场地不了解而造成的管线挖断事故的发生。

参考文献：

[1]曹兵,康应详,曹佳.城市地下管线现状分析及相关对策研究[J].中国勘察设计,2010(8):88-91.

[2]姚立祥.市政工程施工中地下管线问题探析[J].城市建设旬刊,2010(7):170-171.

[3]伊颖锋,林春秀,彭功勋.城市地下管线现状分析及建议[J].市政技术,2015,33(3):121-123.

[4]刘卫萍,王宁,周晓磊,等.数据融合技术在环境监测领域的应用[J].计算机系统应用,2016,25(6):88-93.

[5]张孟春.面向数据集成的分布式ETL研究与设计[J].软件导刊,2017(11):201-203.

张宏波,王晓玲,李松青.多网融合技术在南浔区地下管线数据管理中的应用[J].测绘与空间地理信息,2020(10):135-137+141.