首页 > 论文范文 > 工程工业论文 > 工业综合论文 > 铁路运输论文 > 深度信念网络故障识别模型在铁路信号设备的应用

深度信念网络故障识别模型在铁路信号设备的应用

2020-05-25 169 上传者：管理员

摘要：针对现有铁路信号设备故障识别算法特征提取不准确导致正确率偏低的问题,提出了深度信念网络(DBN)的故障识别模型。该模型首先利用无监督训练方法对DBN的多个堆叠受限玻尔兹曼机(RBM)进行预训练,获得网络初始参数;然后,结合铁路信号设备识别问题,构建BP神经网络,利用有标签样本进行反向传播训练,实现网络参数微调。实验结果表明,该模型避免特征提取的人工操作,能够有效实现铁路信号设备故障的准确智能识别。

关键词：
受限玻尔兹曼机
故障识别
深度信念网络
铁路信号设备
铁路运输
加入收藏

引言

铁路信号设备是保证列车正常运行与车辆调度安全的重要保障[1,2]。随着我国客运专线不断开通、提速区段的不断增加,对铁路信号设备升级改进过程中,积累了大量铁路信号设备数据,这些数据对于识别铁路信号设备故障,完善铁路信号设备维修保障体系具有十分重要的意义[3]。

针对铁路信号设备故障识别问题,学者们提出了很多方法,包括相关分析法、小波分析法、状态估计法以及神经网络、支持向量机等人工智能方[4]。例如,文献[5]构建了一个基于专家系统的铁路信号设备故障诊断模型,实现了铁路信号设备故障智能识别。文献[6]提出了基于改进二次相关铁路信号区间电缆故障检测方法,实现了铁路区间电缆故障的快速检测。文献[7]研究了基于铁路信号设备不平衡文本数据的信号设备故障分类问题,提出了基于SVM-SMOTE的多分类集成学习方法。

本文借鉴深度学习技术,结合铁路信号设备数据特点,构建了一个基于深度信念网络的铁路信号设备故障识别模型。该模型利用受限玻尔兹曼机堆叠生成深度神经网络,输出端为BP神经网络,整个网络的训练分为无监督预训练和有监督网络微调训练,有效平衡了传统神经网络已陷入局部最优与深度神经网络训练困难的矛盾。实验结果表明,该模型能够有效识别出铁路信号设备故障类型,识别准确率较高。

1、深度信念网络

1.1网络结构

深度信念网络(DBN)是一种性能优良、应用广泛的非监督深度学习技术[8]。DBN本质上是由多个受限玻尔兹曼机(RBM)堆叠生成的一个具备多层感知能力的深度神经网络。多层感知的底层主要用于输入数据的细节展示,而多层感知的高层主要用于表示输入数据的属性展示。将原始数据输入导入深度信念网络,即可实现由细节到属性的逐层呈现,能够有效挖掘数据的本质特征。

DBN的基本组成是RBM,因此也可以看作一种概率生成模型。一个由3个RBM构成的深度信念网络如图1所示。每个RBM均由一个可视层和一个隐藏层构成,两层之间的神经元均为双向全连接,并且前一个RBM的隐藏层作为下一个RBM的可视层,各个RBM均为一个神经感知器。

图1三级深度信念网络

深度信念网络构建完成后,需要对网络权值参数进行训练。深度神经网络的训练可以分为两个部分:无监督预训练和有监督网络微调。其中预训练主要完成RBM的底层至高层的前向堆叠训练,网络微调实现深度信念网络权值参数由高层到底层的细微调节。

1.2网络预训练

无监督预训练的内容主要是RBM。RBM的每一层包含若干个神经元,这些神经元只有两种状态:激活状态(用1表示)未激活状态(用0表示),并且RBM的同一层神经元之间是互不相关的[9]。基于RBM的基本模型,假设某个RBM中可视单元和隐藏单元个数分别为n个和m个,则该RBM的能量函数可以表示为:

公式1

其中,vi(i=1,2,…,n)和hj(j=1,2,…,m)分别代表可视层和隐藏层的状态向量,ai(i=1,2,…,n)和bj(j=1,2,…,m)分别代表可视单元和隐藏单元的偏置,ωij表示可视单元i与隐藏单元j之间的连接权值。

为方便描述深度置信网络的无监督预训练过程,定义如下形式的可视神经元节点与隐藏神经元节点之间的联合概率密度函数:

公式2

其中,Z(θ)表示网络中的节点能量和,定义为:

公式3

可视层神经元与隐藏层神经元之间的条件概率密度函数可以表示为:

公式4

公式5

考虑到可视层和隐藏层各自内部无任何连接,式(4)和式(5)可以进一步简化获得神经元激活函数为:

公式6

公式7

基于最大似然准则在极值条件下求解参数θ:

公式8

深度信念网络的预训练采用随机梯度上升法,对上式等号右侧项对θ求偏导并化简可得:

公式9

式(9)中等号右侧第一项表示网络输入样能量函数的偏导数在样本自身分布下的期望值,在已知输入数据的前提下,此值很容易即可计算出;等号右侧第二项表示能量函数的偏导在RBM模型分布下的期望值,此值求解难度很大。

为解决深度信念网络随机梯度上升训练困难的问题,文献[10]提了一种利用少数训练即可获得P(v,h)的较好估计,该方法称为对比差异度快速算法。该算法的总体思路为,首先利用式(6)计算出隐藏层神经元的条件概率密度值,然后采用Gibbs抽样检测隐藏层神经元状态,最后利用式(7)计算可视层单元的条件概率密度值,并再次利用Gibbs抽样确定可视层神经元状态,上述过程相当于完成了一次可视层重构。此时,最大似然函数梯度上升法的参数更新准则可以表示为:

公式10

公式11

公式12

式中,ε表示网络训练学习率,〈·〉P(h|v)表示偏导数函数在P(h|v)分布下的期望值,〈·〉recon表示偏导数函数在在重构后模型分布下的期望值。

对比差异度快速算法的RBM基本步骤如下:

步骤1:初始化参数,确定输入样本数据x={x1,x2,x3,…,xn}T,设置训练学习率ε和隐藏层神经元个数m,可视层状态向量v(1)=x,ω,a,b均设置为随机选取的数值。

步骤2:隐藏单元训练,对于所有隐藏节点,计算:

公式13

从计算结果中,抽样出h(1)j∈{0,1}。

步骤3:可视单元训练,对于所有可视节点,计算:

公式14

从计算结果中,抽样出v(2)i∈{0,1}。

步骤4:隐藏单元再训练,对于所有隐藏节点,计算:

公式15

从计算结果中,抽样出h(2)j∈{0,1}。

步骤5:网络权值参数更新:

公式16

公式17

公式18

步骤6:重复步骤2～步骤5,需要随迭代次数更新右上角标,直到RBM完成K次权值更新。第K次迭代时,将步骤4得出的h(2)j作为下一个RBM的输入向量v(1)。

1.3网络微调训练

当无监督网络预训练完成后,网络已经得出一组性能较为优良的权值参数值,但该组网络权值参数与直接解决实际问题之间还存在一定差距,需要进一步对权值参数进行微调,这就是网络微调训练的任务。经过无监督的网络预训练,相当于已经提供了有监督学习的初始化参数,为此可以利用有监督学习方法对网络权值参数进行微调。

网络微调训练的基本思路是利用传统神经网络中的BP反向传播算法,具体做法是将深度信念网络最后一个RBM的隐藏层接入一个BP神经网络,最后一个RBM隐藏层的输出作为BP神经网络的输入。网络构建完成后,采用有标签的数据集对深度信念网络进行有监督训练,对无监督预训练获得的网络权值参数进行微调,实现模型精准优化,同时是网络模型更加贴近实际问题。通过无监督训练和有监督训练的有机结合,即显著降低了RBM训练的时间消耗,又克服了BP神经网络容易陷入局部极值的缺点。网络微调训练的具体过程介绍如下。

设深度信念网络由l个RBM构成,最后一个RBM隐藏层的输出向量为:

公式19

则第i个样本向量经过无监督训练的堆叠RBM网络后,输出属性属于yi,yi∈{1,2,…,c}的概率可以表示为:

公式20

式中,V表示参数系数。经过计算后,选取输出属性中概率最大对应的类别即为BP神经网络的判定类型。

深度信念网络第l层的误差函数可以表示为:

公式21

式中,1{yi=k}表示逻辑指示函数,当yi=k时,取值为1,当yi≠k时,取值为0。为了获得误差极小值,计算权值参数偏导可得:

公式22

最后,需要对权值参数进行微调:

公式23

式中,α表示网络参数微调学习率。按照上述过程,依次调整各层RBM的权值参数。

2、基于DBN的铁路信号设备故障识别模型

铁路信号设备故障识别实验中,在设定一定的信号设备故障识别准确率前提下,求解深度信念网络时间复杂度对网络训练迭代次数和样本长度的偏导数,根据偏导数大小调节参数的选取顺序。如果偏导数计算结果显示迭代次数K对时间复杂度的敏感程度高于样本长度,则需要选取少的迭代次数;反之,如果偏导数计算结果显示样本长度对时间复杂度的敏感程度高于迭代次数K,则需要选取较短的样本长度,以便更好地控制深度信念网络训练的时间消耗。本文构建的DBN网络迭代次数和样本长度选取流程如图2所示。

图2迭代次数和样本长度选取流程

图2给出了深度信念网络迭代次数和样本长度选取流程,主要步骤介绍如下:

步骤1:采集铁路设备信号,按照故障类别分别设置训练组和测试组。

步骤2:设置铁路信号设备故障识别准确率目标值、最大迭代次数和样本信号长度增加步长。

步骤3:根据最大迭代次数和当前样本长度构建堆叠RBM结构。

步骤4:将训练数据导入第一个RBM可视层,训练学习获得第一个RBM的隐藏层;然后将第一个RBM隐藏层输出导入到第二个RBM的可视层,后续依次迭代操作,直到训练学习到最后一个RBM的隐藏层。

步骤5:将最后一个RBM隐藏层输出到BP神经网络中,计算误差函数值。

步骤6:从最高层依次向最低层调整网络权值参数,获得铁路信号设备故障识别的DBN深度信念网络训练模型。

步骤7:将测试数据导入深度信念网络,统计铁路信号设备故障识别准确率。

步骤8:判断迭代次数和样本长度条件是否满足截止条件,如不满足,再根据时间复杂度对网络训练迭代次数和样本长度的偏导数检测,增加迭代次数或降低样本长度,重复步骤4～步骤7,直到满足截止条件后,输出样本识别正确率、样本长度和迭代次数。

3、实验结果与分析

为了验证本文构建了基于深度信念网络的铁路信号设备故障识别模型的性能,分别采用仿真实验数据和实测实验数据进行测试。测试信号来自某高铁项目研究组针对高速列车信号设备常见故障进行的仿真和实测数据。数据有四类,包含四种工况,分别为信号设备正常数据、横向减振器故障数据、抗蛇行减振器故障数据和空气弹簧故障数据。

铁路设备输出的数据是一个连续波形信号,需要对其进行采样切割处理后,才能输入到深度信念网络进行信号设备故障识别。为研究样本长度对深度信念网络识别性能的影响,本文将各个工况下的数据已100个数据为步长,设置成8组数,每组数据的样本长度不同,具体参数设置如表1所示。

表1不同长度测试样本数据

实验过程中,在各个工况条件下随机选择100个训练样本和100个测试样本,结合表1中给出的样本数据长度划分规则,共有3200个训练样本和3200测试样本。深度信念网络的隐藏层节点个数设置目前还没有成熟的理论基础,隐藏层节点个数与网络的计算成本成正比,且隐藏层节点个数过多容易使网络陷入过拟合。

按照本文构建的数据样本长度,样本数据长度最小值为100,最大值为800,样本长度平均值为450,为此设置深度信念网络的隐藏层节点个数为400,BP神经网络的输出层类别个数为4。参照已有深度信念网络参数设置,网络预训练过程中RBM学习率和网络微调BP神经网络学习率均设置为0.1,最大迭代次数设置为150,重复进行30次试验,将各次试验结果的平均值作为最终设备故障识别结果评价指标。

图3是样本长度分别为100、400、800时,本文构建深度信念网络的铁路信号设备故障识别准确率与迭代次数的关系。实验结果表明,网络迭代之初,铁路信号设备故障识别准确率较低,但随着迭代次数的增加,故障识别正确率显著提升。当迭代次数大于30次时,故障识别正确率基本保持不变,且波动很小。由图3还可以看出,样本长度为800点和400点时,识别准确率达到90%所需的迭代次数分别为4、3,识别准确率达到95%所需的迭代次数分别为9、8。这说明,识别准确率与迭代次数成正比,通过增加迭代次数能够提高识别准确率,但当识别准确率达到一定值时,再增加迭代次数作用不大,反而会增加计算负担。当样本长度为100点时,识别准确率偏低,但同样单纯增加迭代次数不能提高识别正确率。

图3各数据长度下故障识别准确率与样本长度关系

为进一步验证本文构建深度信念网络铁路信号设备故障识别性能,将其与目前常用的EmGauussian集成聚类识别算法(集成聚类方法)、支持向量机故障识别方法(SVM方法)进行对比测试。8组样本在不同方法下的识别准确率如图4所示。测试结果表明,样本长度为100点时,本文深度信念网络故障识别准确率低于集成聚类方法和SVM方法;样本长度为200点时,本文深度信念网络故障识别准确率低于SVM方法,高于集成聚类方法,其余各组识别正确率均高于其它两种方法。这是因为,当样本数据长度较短时,深度信念网络不足以充分挖掘出数据的本质特征,因此识别准确率较低,当样本长度足够时,深度信念网络的深入挖掘能够保证数据本质特征的优势便体现出来,具有较高的识别准确率。而集成聚类方法和SVM方法均需要提前甄选特征参量,受人为因素影响较强,故障诊断智能性和适应性均不及深度信念网络。

图4不同故障识别方法性能比较

4、结束语

本文研究了铁路信号设备故障识别问题,将深度信念网络用于铁路信号设备故障识别中,无需人工操作提取特征参数,实现了铁路信号设备故障智能化识别。实验结果表明,深度信念网络通过无监督预训练和有监督微调,能够学习到有效特征,识别准确率由于传统故障识别方法。

参考文献：

[1]周庆华,李晓丽.基于MCNN的铁路信号设备故障短文本分类方法研究[J].铁道科学与工程学报,2019,16(11):2859-2865.

[2]李绍斌,李文涛.一种新型的铁路智能信号控制系统设计与实现[J].现代电子技术,2015,38(14):156-159,162.

[3]宁滨,莫志松,李开成.高速铁路信号系统智能技术应用及发展[J].铁道学报,2019,41(3):1-9.

[4]徐田华,杨连报,胡红利,等.高速铁路信号系统异构数据融合和智能维护决策[J].西安交通大学学报,2015,49(1):72-78.

[5]丁青艳,张秀媛.铁路信号故障诊断专家系统基本结构设计[J].铁路计算机应用,2005,14(5):29-30.

[6]赵庶旭,孙守川,党建武.基于改进的二次相关的铁路信号区间电缆故障检测[J].数据采集与处理,2014,29(5):815-820.

[7]杨连报,李平,薛蕊,等.基于不平衡文本数据挖掘的铁路信号设备故障智能分类[J].铁道学报,2018,40(2):59-66.

[8]梁尧,朱杰,马志贤.基于深度神经网络的单通道语音分离算法[J].信息技术,2018,42(7):24-27.