摘要:针对传统小波阈值去噪算法中阈值估计不足的问题,在推导出高频信号中噪声影响幅度按1/2的规律逐渐减小后,提出一种新小波阈值估计算法,并将其应用于变形监测数据的去噪处理。理论分析和工程实例均表明,本文方法能够有效地克服软阈值法存在的恒定偏差,进一步提高去噪的精度和可靠性。
加入收藏
变形监测数据一般包含真值和噪声2个部分,对变形监测数据进行去噪处理、提取变形特征、分析变形规律,是变形分析研究的重要内容[1]。小波分析具有良好的时频特性,被广泛应用于变形分析中,特别是小波阈值去噪在非平稳变形监测数据处理中取得了较好的效果[2,3]。众多学者从影响小波去噪的关键因素出发,如小波分解层数[4,5]、去噪评价[6,7]、阈值函数[8,9,10]、阈值估计[8,9,10,11]等对传统小波阈值去噪进行研究。在阈值估计方面,常用的4种阈值分别为通用阈值、启发式阈值、自适应阈值和极大极小阈值。其中,自适应阈值和极大极小阈值选取规则比较保守,仅将部分系数置0;而通用阈值和启发式阈值选取规则的去除噪声效果更佳,但易将有用信号的高频部分当作噪声信号除去[9]。考虑到噪声在小波变换下随尺度增大而减小的特性,学者们给出了改进阈值估计算法,取得了一定效果,但也存在一些不足。如李明峰等[8]给出的阈值算法首层阈值估计过小,去噪不彻底;甘若等[10]、赵瑞珍等[11]给出的阈值算法首层阈值估计过大,易产生“过扼杀”小波系数的现象,且上述文献都没有考虑带噪小波系数含噪幅度随尺度增加而减小的函数关系。基于以上问题,本文提出一种新的小波阈值估计算法,并通过理论分析、工程实例验证其优越性和有效性。
1、小波阈值去噪法
小波阈值去噪是基于小波变换的“集中”或“聚焦”能力。通常认为,信号在经过小波变换后,由信号产生的小波系数包含有信号的重要信息,其幅值大、数目少,而噪声对应的小波系数幅值小、数目多。通过在不同分解尺度上选取合适的阈值,并将小于该阈值的小波系数置0,保留大于阈值的小波系数,使信号噪声得到有效抑制,最后经过小波逆变换,得到去噪后的重构信号。
1.1 ZR阈值法
考虑到噪声在小波变换下随尺度增大而减小的特性[10],给出小波阈值法的改进法(称为ZR阈值法)[11]:
dˆj,k=⎧⎩⎨sgn(dj,k)d2j,k−λ2j−−−−−−−√,|dj,k|≥λj0,|dj,k|<λj (1)
式中,dˆj,k为估计小波系数,sgn(dj,k)为符号函数,dj,k为带噪小波系数,λj为尺度j上的阈值,λj=σ2lnN−−−−−√/ln(j+1),N为信号长度,σ为噪声的标准方差,一般采用第1层小波分解系数估计,即σ=median(|d1,k|)/0.674 5,median为MATLAB中求中值运算,k为正整数。
当尺度j=1时,λ1=σ2lnN−−−−−√/ln(2)>λ=σ2lnN−−−−−√(通用阈值),首层阈值估计过大易产生“过扼杀”小波系数的现象;当尺度j>1时,阈值λj随尺度的增大而减小,满足噪声在小波变换下随尺度增大而减小的特性。
1.2 1/2阈值法
对于均值为0、方差为σ2的高斯白噪声n(t),其二进小波变换为WTj,kn(t),若小波函数ψj,k(t)为实函数时,则有[4]:
|WTj,kn(t)|2=|∬Rn(t)ψj,k(t)dt|2 (2)
由于E[n(t)n(t)]=σ2,小波函数ψj,k(t)为小波基ψ(t)伸缩平移所得,小波函数中每一个都有规范化的范数‖ψj,k(t)‖=‖ψ‖=1,故:
E[|WTj,kn(t)|2]=σ22j (3)
即随着小波分解尺度的增加,含有噪声的观测序列在低频信号中噪声影响幅度按1/2的规律逐渐减小[12]。随着分解尺度的增加,高一级尺度上的低频信号中含有的噪声影响幅度会越来越小,曲线也会也来越光滑。
对变形观测数据序列进行如式(4)所示的小波分解与重构:
an+1=an+dn=an−1+dn−1+dn=⋯=a0+d1+d2+⋯+dn (4)
式中,an为低频信号,表现为趋势项,dn为高频信号,含有噪声、粗差等局部变形信息。
设an噪声影响幅度为σ2,由以上分析规律可知,an-1噪声影响幅度为σ2/2,由式(4)可知,dn-1=an-an-1,即an噪声影响幅度σ2在高一级尺度上一分为二,也就是an-1分解到的噪声影响幅度为σ2/2,dn-1分解到的噪声影响幅度为σ2/2。同理,dn-2=an-1-an-2,dn-2分解到的噪声影响幅度为σ2/4。因此,随着分解尺度的增加,高频信号分解到的噪声影响幅度也是按1/2的规律逐渐减小。
综上所述,噪声在小波变换下随着分解尺度的增大而减小,且高频信号分解到的噪声影响幅度也是按1/2的规律逐渐减小。据此,本文给出新阈值计算公式(称1/2阈值法):
λˆj=σ2lnN−−−−−√/2j−1 (5)
式中,λˆj为尺度j上的阈值,j为分解尺度。当尺度j=1时,其结果与原通用阈值一致,解决了首层阈值估计过大的问题;当尺度j>1时,随着尺度j的增加,阈值λˆj以1/2倍数关系减小,与噪声影响幅度按1/2的规律逐渐减小相吻合,也满足噪声在小波变换下随着尺度的增大而减小的特性,又使得dˆj,k更加接近dj,k,能有效克服软阈值法恒定偏差的缺点。
2、仿真实验
多期的变形监测信号一般包括趋势项、周期项及多种噪声,为保证与实际观测数据相符合,构造复合信号进行仿真模拟实验。如图1所示,仿真信号时长为120 s,其中包括2个趋势项、2个周期项及随机噪声项,实验采用MATLAB中自带的awgn函数,添加信噪比为db10的高斯白噪声,其表达式为:
图1仿真数据
为验证本文1/2阈值法的降噪效果,采用分解能力较好的sym8小波基,使用文献[4,5]的方法确定该信号最佳分解尺度为3层。使用硬阈值方法、软阈值法、ZR阈值法进行对比,使用信噪比(SNR)、均方根误差(RMSE)作为小波去噪的评价指标。
消噪的信号如图2所示。可以看出,软阈值法去噪后曲线过于光滑,未能有效提取周期性信号,去噪效果最差;硬阈值法由于阈值函数的不连续性,在采样序号75处有较大折线现象,即伪吉布斯现象,对周期性信号的提取有所提高,但在采样序号5~10处未能提取到信息;ZR阈值法去噪信号曲线光滑,无多余折线现象,在采样序号5~10处也未能提取到信息;1/2阈值法去噪信号曲线光滑程度最好,无多余振荡,对周期性信号提取最好。从表1可知,1/2阈值法去噪的SNR最大,RMSE最小,去噪效果最佳,说明1/2阈值法去噪是可行的。
图2 4种方法去噪结果
表1 4种阈值法的去噪指标
3、工程实例
为进一步验证本文小波阈值法去噪的有效性和优越性,对文献[10]中某江岸危岩上H监测点10 a的沉降监测数据进行实例分析,如图3所示。可以看出,该危岩H点的高程随时间的增加呈现出下降趋势,同时含有周期性变形信息。由于各种不确定的因素,该信号含有很多毛刺,严重影响变形监测的准确分析和后续预测,因此需要对其进行去噪处理。
图3原始变形监测数据
为了验证1/2阈值法去噪的优越性,采用分解能力较好的sym8小波基,使用文献[4,5]的方法确定该信号最佳分解尺度为3层,同时使用硬阈值法、软阈值法、ZR阈值法进行对比,去噪结果如图4所示。可以看出,软阈值法由于估计小波系数和带噪小波系数间有恒定的偏差,导致重构的信号失真比较严重,去噪后曲线过于光滑,未能有效保留周期性细节变形信息,去噪效果最差。硬阈值法由于阈值函数的不连续性,在采样序号43处有较大折线现象,即伪吉布斯现象,去噪后曲线光滑性最差,对周期性细节变形信息保留有提高,如在采样序号20~40处保留了周期性细节变形信息。ZR阈值法克服了软、硬阈值法的缺点,也考虑到噪声在小波变换下随尺度增大而减小的特性,去噪后曲线的光滑性好,对周期性细节变形信息的保留程度有所提高,如在采样序号50~60处保留了周期性细节变形信息。1/2阈值法克服了软、硬阈值法的缺点,不仅与噪声在小波变换各尺度上的传播特性相一致,也更符合带噪小波系数随分解尺度增加而减小的函数关系,去噪后曲线的光滑性好,没有多余振荡,特别是在采样序号110~120处,对周期性细节变形信息保留最好。从表2可知,1/2阈值法去噪的SNR最大,RMSE最小,与其他阈值法去噪对比,效果更好,对周期性细节变形信息提取更准确。
图4 4种方法去噪结果
表2 4种阈值法的去噪指标
4、结 语
通过理论分析与工程实例可知,本文1/2阈值法去噪效果优于软、硬阈值法及ZR阈值法,能更有效地恢复被噪声湮没的周期性细节变形信息,进一步提高去噪的精度与可靠性,更好地反映危岩变形规律。1/2小波阈值法不仅与噪声在小波变换各尺度上的传播特性相一致,也更符合带噪小波系数随分解尺度的增加而减小的函数关系。需要指出的是,变形监测数据具有受噪声干扰相对较小的特点,对噪声干扰较大的复杂信号,本文方法的去噪效果有待进一步研究。
参考文献:
[1]杨兵,杨志强,田镇,等.联合EMD-HD和小波分 解的GNSS坐标时间序列降噪分析[J]测绘学报,
[2]罗甘,梁月吉,黄仪邦基于双树复小波的变形监测数据去噪分析[J].大地测量与地球动力学, 2018,38(9):
[3]王民顿,尚俊娜基于CEEMD和改进小波阈值法的钢架结构沉降数据去噪方法[J].大地测量与地球动力学,2022 42(11):1
[4]向东,贡建兵变形序列小波消噪最佳分解尺度量化指标的确定[J].武汉大学学报:信息科学版,2014,39(4):
[5]陶珂,朱建军多指标融合的小波去噪最佳分解尺度选择方法[J]测绘学报,2012,41(5):
[6]谢政宇,刘学广,张巩,等利用小波去噪进行步态加速度信号预处理[J].武汉大学学报:信息科学版, 2022 47(11):
[7]王旭,王昶-种基于熵权法的小波去噪复合评价指标([J]大地测量与地球动力学, 2018,38(7):
基金资助:国家自然科学基金(42064003)~~;
文章来源:沙磊.一种新小波阈值算法的变形监测数据去噪方法[J].大地测量与地球动力学,2023,43(08):847-850.DOI:
分享:
软件系统和应用程序中经常面临特征数据缺失的情况,如物联网数据、医疗数据、材料数据等,数据缺失可能导致学习算法或程序性能下降甚至不可用。导致数据缺失的原因较多,如调研项目无回应、意外丢失或传输错误等。为了解决数据缺失问题,研究人员提出了一些有效的填补方法,按照采用技术的不同,可以分为基于统计学的方法和基于学习的方法。
2024-12-05智慧社区监控系统的研究和应用是当今社区管理领域的热点话题之一。随着城市化进程的不断推进和社会治理水平的提高,社区管理面临着日益复杂和多样化的安全挑战。在传统社区管理模式下,对于社区内安全事件的监测和管理往往依赖人工力量,存在着监控盲区、反应滞后、管理成本高等问题,限制了社区管理效率和安全防范水平的提升。
2024-12-04电力物联网作为物联网的一个重要应用领域,以其智能电网为基础,通过物联网、大数据、云计算等先进技术手段,实现了对电网所有数据的全面感知、收集、存储、计算与交换。这一领域的快速发展不仅极大地提升了电网的运行效率和智能化水平,同时也带来了前所未有的数据隐私保护挑战。
2024-12-03“异化”一词源于希腊语中“他者化”一词,指的是主体发展到了一定阶段,分裂出自己的对立面,变为了外在的异己的力量。对于人类社会而言,即表示人类创造出的产物与人类本体分离,并成为一种外在的负面异己力量与人类本体相对立,乃至最终凌驾于人类本体之上,使人类的本体性逐渐丧失。
2024-11-05城市品牌是当前城市研究中的热点概念。根据杜青龙的观点,城市品牌即城市可以在营销历史、生活方式和文化等资源的过程中,获取资本积累的机会、声望。城市品牌既是城市自然地理、历史人文、经济政治等的精准提炼与符号化表达,也是城市形象构建的核心资源。因此,加强城市品牌营销,已成为当前城市发展的重点。
2024-11-05电网覆盖范围的扩大,加之智能电网数据采集频率的提升,使得电网多级数据量呈现指数级暴涨,从最初的每秒钟几十兆字节增加至每秒钟几万兆字节,对智能电网的数据处理性能提出了更高的要求。受采集设备缺陷、采集环境等因素的影响,电网多级数据中包含大量的冗余数据,浪费了存储空间,降低了数据查询效果。
2024-09-20随着我国电网规模的日益扩大,能源建设的投入也在持续增加。其中,电力改造工程中的造价数据是决定工程整体管理水平的重要环节,准确、合理的数据分析有助于提升项目管理的水平并高效推进项目的整体进展。同时,在施工过程中由于受复杂的环境因素影响,各分段的子项目技术标准也会存在差异,因此所涉及到的数据具有多维性及海量性的特点。
2024-09-19随着科学技术的不断发展和进步,数字化技术已经广泛应用于各个领域。在建筑行业中,BIM技术已经成为数字化转型的核心技术。数字化工厂设计系统是以BIM技术为基础,实现了从建筑设计到设备安装、调试、运行的整个过程的数字化设计与协调。本文研究了基于BIM技术的数字化工厂设计系统的构建及应用,以期提高工厂设计的质量和效率。
2024-08-26随着我国工业化、城市化迅速发展,导致流动人口规模逐渐扩大。大规模的人口流动承载着技术、信息和资本在不同地区内流动,不仅形成新的人口空间分布格局,还影响城市的产业布局、经济发展以及自然环境。人口的分布是我国经济发展的重要因素之一,分布合理与否会直接影响经济的协调发展。
2024-04-17大数据时代为各类治理提供了前所未有的决策方式,数据是当今“世界上最有价值的资源”,“数据决策”成为现代化治理体系和治理能力的基本条件。与传统的小数据时代相比,数据有了大小之分,大数据具有数量大、种类多、流动快、反映真、算法复杂等特性;小数据是大数据的一个部分,体积小、易理解、算法简单,且“主要来源是抽样调查、深访、行政记录和实验设计等传统统计方法”。
2023-12-04人气:3815
人气:3240
人气:2921
人气:2873
人气:2443
我要评论
期刊名称:大地测量与地球动力学
期刊人气:2291
主管单位:中国地震局
主办单位:中国地震局地震研究所,地壳运动监测工程研究中心
出版地方:湖北
专业分类:科学
国际刊号:1671-5942
国内刊号:42-1655/P
邮发代号:38-194
创刊时间:1981年
发行周期:月刊
期刊开本:大16开
见刊时间:一年半以上
影响因子:0.435
影响因子:1.417
影响因子:0.700
影响因子:0.925
影响因子:1.760
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!