首页 > 论文范文 > 工程工业论文 > 工程综合论文 > 矿业工程论文 > 煤矿视频分布式实时处理平台的设计与实现

煤矿视频分布式实时处理平台的设计与实现

2021-01-05 218 上传者：管理员

摘要：实时智能化监控技术是煤矿安全生产的关键。针对煤矿井下监控视频处理实时性差、数据挖掘率低等问题，基于Spark、Kafka、HDFS等分布式框架设计并搭建了一个视频分布式实时处理平台，提出了一种多节点加权融合算法，改进了帧间相关视频的处理方式，加入关联分析模块，并进行了实验验证。实验结果表明，该平台在帧间相关和帧间无关的视频处理中均具有良好的实时处理能力，提高了煤矿视频监控的实时监测能力，对煤矿的安全生产具有重要的意义。

关键词：
Spark
分布式
实时处理
煤矿
监控
加入收藏

随着我国信息和自动化技术的不断发展，煤矿安全形势有所好转，但是煤矿安全生产形势依然严峻。为了煤矿的安全生产和加强监督生产过程，煤矿开始通过建设煤矿安全监控系统的方式对煤矿生产进行实时监控，但是煤矿安全监控系统存在可靠性和稳定性不高、智能化程度低、系统数据挖掘率低、数据处理实时性差等问题。

目前，一些分布式的实时计算平台已被提出，但这些平台还存在实时性差、数据挖掘率低等问题。本文设计了一种实时性强且数据挖掘率高的视频分布式实时处理平台。该平台利用Spark、Kafka等分布式框架搭建，通过改变帧间相关视频的处理方式增强平台的实时性和可靠性，并加入关联分析模块，增强平台关联分析及数据挖掘的能力。

1、煤矿视频分布式实时处理平台架构

视频分布式实时处理平台分为视频获取、预处理模块、视频处理模块、关联分析模块、数据存储及显示五部分。平台总结构如图1所示。

图1视频分布式实时处理平台总结构

(1）视频获取主要由监控或存储系统等组成，为视频分布式实时处理平台提供视频数据；

(2）预处理模块对视频进行预处理，并按照视频的处理要求将视频按照帧间相关和帧间无关2种预处理模式分别进行预处理；

(3）视频处理模块对视频帧序列进行处理，处理后的帧序列和结果可选择输出至关联分析模块或存储及显示模块；

(4）关联分析模块将多路视频信息聚合，对其进一步地关联分析。关联分析可以对视频中的重要信息进行进一步挖掘，分析不同视频间的潜在关联信息。分析的结果可进行存储或显示；

(5）数据存储及显示平台中主要采用分布式文件系统HDFS进行文件的存储，Web端进行视频的显示。

2、关键技术

2.1预处理模块

视频分布式实时处理平台首先通过调用OpenCV从视频获取模块中获取视频流，视频帧在OpenCV中被表示为mat格式的矩阵。由于mat格式的数据并不适合直接传输，需要使用JSON格式来存储视频数据及其他细节信息。

平台在预处理部分分为帧间相关和帧间无关2种处理模式，储存视频帧信息的JSON数据会根据不同的预处理模式被输出到不同的位置，下面将对2种预处理模式分别进行介绍。

(1）帧间相关预处理

帧间相关视频的处理算法在处理当前视频帧时可能需要用到过去视频帧的信息，如果直接将视频帧数据分布到多个节点进行处理，会破坏连续视频帧的帧间关系。传统平台的做法是同一视频流放在单机上进行处理，为了保证平台处理的实时性，通常会丢弃一部分视频帧。虽然这种方式在一定程度上能够缓解平台的压力，但却丢失了部分视频信息。

本文平台充分利用摄像头采集数据时帧率较高、相邻帧之间存在大量冗余信息的特点，对视频流等间距抽取视频帧，将单一视频流分为多个等帧间距的样本帧，然后将样本帧经过处理后输出至Kafka。

Kafka在多分区的情况下无法保证消息的时序性，但是可以保证在1个分区内消息的时序性。所以为了保证视频帧的时序性，需要将同一样本帧输出到Kafka的同一个分区。

该平台中使用的Kafka分区机制是按照key值进行划分partition，相同key值的消息被分配到同一partition当中。为了将视频帧发送到指定的partition，同时方便数据的传输，平台使用JSON数据格式的相关信息，格式如图2所示。

图2帧间相关JSON数据格式

其中，CameraID为摄像头编号，作为视频流识别标识；SampleID为视频帧序列预处理样本的编号，做为发送到Kafka消息的key值，是平台分配分区的重要标志；Timestamp为时间信息，用来判别视频帧的顺序关系；Data是由mat转化来的视频帧数据。

平台中每一路视频对应1个Topic，每个Topic的partition数目根据处理并发度来确定。每个视频帧样本在Kafka中对应1个partition，每一份视频帧样本通过不同的SampleID分配到不同partition，再利用partition与处理节点的一一对应关系将视频帧样本分布到对应节点上进行处理。通过这种方式可以很好地控制视频帧序列的分布以及更方便地设置处理的并发度。

(2）帧间无关预处理

帧间无关视频当前帧的分析不需要依赖其他帧的信息，可以对每一帧图像进行单独的分析，如车牌识别、人脸识别等。因此，帧间无关视频的处理可以直接使用Spark分布式运算的算法，将视频帧数据集合作为1个RDD，以分区为单位分配到不同节点中进行处理。平台中1个Topic可对应多路视频，每个Topic的partition数目根据具体情况确定。视频处理过程中只需要区分视频流，不再需要分帧样本的信息，因此这部分的JSON数据格式中不再存储SampleID信息，格式中其他内容保持不变。

2.2视频处理模块

视频处理模块是处理视频的关键部分，视频处理和视频预处理相匹配，同样将处理方式分为帧间相关和帧间无关2种。

(1）帧间相关处理

在平台中，SparkStreaming使用consumer从Topic中不断消费数据（1个Topic对应1个consumer），并将数据映射成DStream,Dstream被划分为批并转换成RDD批，这些批形成RDDDAG。DAGScheduler将DAG分解为stage，并切分stage形成task，这些task被发到WorkerNode上Executor的ThreadPool中执行。

由于帧间相关视频被分成多份分别分布到各个节点，每个节点都会处理出1个结果，平台需要将多个结果进行融合。将每个节点的结果通过Kafka聚合到一起，再利用SparkStreaming进行融合得到最终的结果，本文提出了一种自适应加权融合算法。

融合结果

式中Mi———第i个节点结果的加权值；

Pi———第i个节点计算的概率结果；

———所有节点结果的平均值；

n———为可用分布式节点的数量。

该算法每一次的融合都会根据各节点计算结果对权值进行更新。为了提高平台的可用性，避免因部分节点故障而出现该节点的数据与其他数据相差过大，影响结果的准确性，在平台中设置了一个权值距离

当权值距离Δj大于设定阈值的时候可以选择抛弃该数据，若发生数据抛弃的情况则按照剩余数据重新进行计算。

(2）帧间无关处理

在平台中，这部分与帧间相关的处理方式有所不同。SparkStreaming通过直连的方式和Kafka进行整合，由于直连方式Kafka中partition与处理并发度的一一对应关系，利用partition数量可以方便地控制处理并发度。

SparkStreaming使用consumer从Topic中不断消费数据，并将数据转换成RDD批，这些批形成RDDDAG。DAGScheduler将DAG分解为stage，并切分stage形成多个业务逻辑相同的task，这些task被发到WorkerNode上Executor的ThreadPool中执行计算。处理完成后，使用collect算子将结果收集到driver端，将结果进行存储或显示。

2.3关联分析模块

关联分析模块中Kafka设置为1个Topic对应多路视频，该Topic只设置1个partition。单路视频在视频处理过程中将视频中检测到的重要视频帧通过Kafka的producer发送到对应的Topic中的partition,SparkStreaming再从该Topic中消费视频帧进行处理。消息处理结果可以保存至存储层或输出到Web终端进行实时显示。关联分析部分的结构如图3所示。

图3关联分析结构

3、实验验证

用实验验证平台的可行性并对新平台和传统平台的实时性进行比较。实验集群为1个双核CPU、12GB内存的master和5个双核CPU、6GB内存的worker组成。

(1）帧间相关视频处理

为了测试帧间相关视频的处理效果，对5路视频分别采用1～5个不同的计算节点，最终通过融合算法进行融合得到最终结果。为了控制实验变量，该实验令每路视频实验训练量相同。每路视频均采用时空自编码算法对UCSD数据集进行人群异常识别的检测。

实验结果如图4所示。从图4可以看出，随着帧间相关视频计算并行度的增加，检测准确率有所下降。平台以牺牲一定的准确率换来更高的并行度和实时性。

图4并行度和准确率的关系

(2）实时性

对4路视频进行实时分析，其中一组、二组进行帧间相关分析，三组、四组进行帧间无关分析。帧间相关分析的实验中，采用时空自编码算法进行的人群异常识别的检测实验。帧间无关分析实验中，利用OpenCV自带LBP局部二值模式直方图法进行人脸识别检测。以平台每秒处理的视频帧数来衡量平台的实时处理能力。

实验结果如图5所示。从图5可以看出，由于新平台帧间相关视频的处理算法使视频在处理时有了更高的并发度，所以在平台的实时性方面表现出了明显的优势。在帧间无关的处理中由于可以更加灵活地控制处理的并发度，使平台资源能够得到充分的利用，实时性也优于原平台。

图5处理帧数对比

4、结语

本文利用当前主流的分布式组件，设计实现了一个具有较高实时性的视频分布式实时处理平台。通过改进帧间相关视频的处理方法、引入关联分析模块等，有效提高了平台可靠性和稳定性、数据处理的实时性和平台数据挖掘率。通过提高监控的实时处理能力，可以在复杂的视频场景下及时且准确地分析处理，能够提高对煤矿风险的预测和应对能力，对煤矿的安全生产具有重要的意义。

参考文献：

[1]郭江涛.煤矿安全监控系统现状及发展趋势[J].煤矿机械2017,38(3):1-3.

[2]张国清,马鹏飞.智能监控系统在煤矿刮板输送机中的应用[J].煤矿机械,2018,39(2):146-148.

[3]郑健,冯瑞.基于Spark的实时视频分析系统[J].计算机系统应用,2017,26(12):51-57.

徐永刚,陈彬.煤矿视频分布式实时处理平台的设计与实现[J].煤矿机械,2021,42(01):164-167.