首页 > 论文范文 > 社会科学论文 > 科技论文 > 电信技术论文 > 基于策略梯度的WRSN公平能量补充方案

基于策略梯度的WRSN公平能量补充方案

2024-01-02 74 上传者：管理员

摘要：无线可充电传感网络（WRSN）中节点能耗是动态变化的，在调度移动充电器（MC）为传感器充电时，估算节点的实时能耗来计算节点的剩余生存时间十分重要。针对WRSN的问题，提出一种基于策略梯度的公平能量补充策略（PFSS），利用过往的节点能量记录对节点实时能耗进行估算，采用seq2seq结合Attention的网络结构求解待充电序列，为节点充电获得一个充电权重来评估该次充电的质量，其由MC到节点间的距离、节点等待时间和节点剩余生存时间组成，利用策略梯度对网络进行训练，从而求得具有最优充电质量的充电序列近似解，仿真结果表明，与现有的算法相比，PFSS能够有效降低网络中传感器节点失效数量、MC的移动成本和充电延迟。

关键词：
seq2seq
充电调度
响应公平
失效率
无线可充电传感网络
注意力机制
策略梯度
加入收藏

无线传感器网络（Wireless Sensor Network,WSN）已广泛应用于许多领域，如森林火灾监测、建筑监控等[1,2,3]。一般来说，无线传感器网络由大量的传感器组成。由于这些传感器由能量受限的电池供电，网络的运行时间通常是有限的，这阻碍了传感器网络的发展[4,5,6]。考虑到每个传感器的电池容量是有限的，在电池耗尽之前补充传感器的能量供应至关重要。受益于无线充电技术的发展[7]，无线可充电传感网络（Wireless Rechargeable Sensor Network,WRSN）广受关注，使用配备无线充电设备的移动车辆为传感器充电成为解决该问题非常有效的解决方案[8,9]。由于WRSN中的传感器节点失效会导致数据丢失、链接断开甚至网络瘫痪等严重问题，如何调度MC(Mobile Charger）高效地为网络中的传感器节点补充能量是WRSN充电策略的关键问题。

现有的WRSN能量补充方案一部分提前规划出一条充电回路，MC沿着预定的轨迹行走，给节点进行能量补充。文献[10]在能耗不变的情况下，将求解问题转化为求解旅行商问题（Traveling Salesman Problem,TSP），通过最小化MC的移动距离来最大化MC的充电效率。文献[11]提出一种带时间窗的旅行商问题（Traveling Salesman Problem With Time Window,TSPTW），寻找一条最小移动成本路径作为一个充电周期，但路径上的节点仅访问一次，这无法应对能耗较高的节点在一个充电周期内多次打开时间窗的情况。

另一部分能量补充方案是由MC根据网络情况实时响应传感器充电请求。文献[12]中提出一种抢占式最近距离优先充电策略，这样能提高MC的能量利用率，但是没有考虑对充电请求的公平性，导致某些传感器因为长时间得不到能量补充而失效。文献[13]将节点按剩余生存时间进行分组，每次选取剩余生存时间小的节点进行能量补充，却没有考虑MC在移动时消耗的能量。文献[14]虽然能尽量避免节点失效，但是其假设基础MC能量无限大、节点能耗是不变的，在实际情况下不存在该情况。

通过分析现有的工作，存在以下问题：

1）因节点能耗动态变化，而不能很好预知各节点剩余生存时间来规划节点的充电序列；

2) MC响应节点的充电请求不具有公平性，存在节点因等待时间过长而失效；

3) WRSN中的MC充电路线规划被证明为NP-hard问题，对于传统方法求解NP-hard很难得到满足实际需求的最优解。

本文的主要贡献如下：

1）联合考虑节点能耗动态变化、MC的充电代价和失效节点数,提出一种新的充电调度方法PFSS;

2）利用过往的节点能量记录对节点实时能耗进行估算；

3）引入一个新的评估标准充电权重来评估一组充电序列的质量，并且参考文献[15]采用seq2seq与Attention结合的网络来求解充电序列，并通过策略梯度对神经网络进行训练；

4）建立仿真环境并与现有充电方案进行对比，证明了本文方案的有效性。

1、网络模型与问题描述

1.1 WRSN模型

WRSN模型部署在一个边长为L的正方形区域内，由三个部分组成，分别是基站（Base Station,BS）、传感器节点和MC。其中：基站在区域的左下角（0,0）的位置；传感器随机均匀地分布在区域内，传感器节点集合S={s1,s2,…,sn}，si表示第i个传感器，si=(xsi,ysi)为si的二维位置坐标传感器，其最大电量为Es，当自身能量下降到预先设定阈值η时，主动向基站发送充电请求，移动充电装置MC，以vm速度移动，携带的可充电电池最大容量为Cm。

1.2节点模型

根据文献[16]物理模型，传感节点能耗主要由两个方面组成：

发送能耗：发送电路和功率放大器；

接收能耗：接收电路。

能耗模型如下：

式中：E (k,d)表示距离为d的两个传感器发送k bit数据时消耗的能量；Eelect表示发送或者接收1 bit数据的能耗；Emp表示功率放大器能耗，Emp又分为Efs、Emf两种情况，分别表示在自由空间和多径衰落模型中每平方米内处理1 bit数据消耗的能量，分别表示如下：

门限距离为do，具体如公式（3）所示：

则：

在t时刻第i个节点的能耗模型如下：

式中Ej,i(k,d,t)表示第i个节点与第j个节点之间在t时刻传输k bit数据消耗的能量。因此，在t时刻节点i的剩余电量为：

节点电量需求为：

因此，MC在t时刻的剩余电量如式（8）所示：

式中：Em为MC移动每米消耗的能量；di,j表示第i个节点到第j个节点之间的距离。

2、PFSS策略设计实现

2.1节点能耗估算

采用过往的节点能耗对将来节点能耗进行估算，设网络初始时间为0，时间间隔为Δ，节点将当前剩余电量Eir(t)发送给基站，则节点实时能耗pi,t为：

基站收到节点i的n+1条信息后，对节点i能耗进行估计，考虑过往的节点能量消耗率和估算的实时性，采用时间值作为权重，权重越大，表示其值就越新，就越具有更高的参考价值，更接近实时值。

把公式（9）代入公式（10）得：

这样需要基站保存所有的历史数据，导致基站的存储代价会随着时间的推移越来越大，因此改进式（11）为：

式中ETn-1表示前n次的时间总和，表示为：

这样得到预测能量消耗Pi,t，但实际情况下，预测值跟实际值存在一定的偏差，实际值pi,t等于预测值Pi,t加上偏差值bi,t，则偏差为：

因此，为了更加准确地估算能量消耗率，也需要对偏差值进行估算，采用基于过往经验的方法进行预测，得到以下公式：

可以看到两个估算值与时间间隔有关，时间间隔越小，估算值也就越准确，若是时间间隔1 s就进行一次估算，那么其估算值就会越准确，这就需要节点频繁地发送自身状态给基站，但这会减低WRSN的网络运行时间，加快节点的失效，因此时间间隔不易太短。则估算t时刻节点i能耗为：

那么t时刻节点i的剩余生存时间如下：

2.2充电权重

设MC的一个充电周期遍历的节点集合为C={c}0,c1,c2,…,cn+1，节点c0,cn+1表示基站,Tw={tc1,tc2,…,tcn}表示各节点发出充电请求的时间，则MC在一个充电周期的总移动距离为：

式中dci-1,ci表示节点ci-1到ci的距离。

若e表示MC每秒的充电功率，Ejr表示给节点ci充电前第j个节点的剩余电量，则给节点ci充电的起始时间为：

因此，节点ci的相应等待时间为:

为了提高MC的能量利用率，降低节点的等待时间，减少节点的失效率，构建充电回路的优化目标为：

式中Count(Ti-twi<0)表示节点剩余生存时间小于节点等待时间的个数，即失效节点数。

由优化目标可以看出：构建的充电回路MC移动的距离应尽可能的少；节点的等待时间应尽可能的少；节点的剩余生存时间应尽可能的多，因此定义充电权重q来衡量一个充电周期的好坏。

定义1节点充电权重：给节点i在t时刻的充电权重qi(t)的定义如式（22）所示：

式中：dci-1,ci表示节点ci-1到ci的距离；twi表示节点ci的等待时间；Tci为节点ci的剩余生存时间，并且dci-1,ci、twci、Tci均为归一化表示。因此一次充电集合的点构成的节点充电权重总和为：

定义2最优充电序列：为MC从发给节点充电到返回基站过程中充电集合的节点充电权重最小。表达式如下：

保证MC有足够的能量回到基站补充能量，因此优化目标还有如下约束：

2.3基于策略梯度的求解框架

因为求解WRSN充电序列是一个NP-hard问题，并且传统的求解方法很难求得满足实际需求的最优解，而采用策略梯度的方法去求解，能够更好地避免求解陷入到局部最优解，因此采用策略梯度的方法对式（24）进行求解，将各个充电权重qi(t)可以看作一权重图，利用seq2seq在处理序列模型的优势，结合Attention对充电序列进行求解，具体策略梯度模型如图1所示。将其分成两个神经网络，一个为输出网络，一个为基线网络，通过不断的训练，利用充电序列的总充电权重作为评价标准，求得最优解，具体网络结构如图2所示。在选择下一个充电节点时，将各节点到MC的距离、等待时间、剩余生存时间作为输入，Encoder输出都与Decoder该时间步的输出作点乘得到Attention Score，然后计算所有Score的概率分布的Attention distribution，在选择Attention output时，输出神经网络采用的办法是选择前k大的概率分布，然后随机选择一个作为输出，k取3，而基线神经网络采用的是贪婪策略，即选择概率分布最大的。

图1 策略梯度模型图

图2 seq2seq结合Attention

具体MC的充电流程如下：估算节点剩余生存时间，通过节点到MC的距离、等待时间、剩余生存时间作为网络的输入，然后根据网络选择要充电的节点，加入充电回路，获得该步的充电权重，当MC能量即将耗尽，返回基站时，得到最终的充电回路path和获得的累积充电权重，为了能获取最优的参数θ，采用策略梯度对网络进行训练，使得达到预期最小化累积权重，策略梯度伪代码如下：

算法1:PFSS算法伪代码

3、仿真实验

仿真实验使用Python语言，使用Pytorch深度学习框架模拟WRSN的能量补充过程，并且与不同的能量补充方案进行比较，验证提出算法的性能，建立100 m×100 m的区域，具体参数参考文献[17]设置默认值取值范围，如表1所示。

表1 仿真参数表

对比算法为NJNP[12]算法和DQN[17]算法，分别对比不同传感器数目、MC的移动速度对网络的失效率、充电延迟、充电代价的影响。

失效率表示在整个充电周期中，因未能及时得到能量补充而失效的节点数与总的请求节点数的比率。

充电延迟表示在整个充电周期中，从发出充电请求到响应最长之间的时间间隔。

充电代价表示在整个充电周期中MC移动的距离。

3.1传感器数目对性能的影响

本组实验研究传感器数目对算法性能的影响，令其他参数维持默认值，传感器数目为30～100个，模拟1 000组数据，各个算法性能变化如图3所示。

图3 传感器数目对性能的影响

如图3a）和图3b）所示，各个算法的失效率和充电延迟随着网络节点数量的增多而上升，这是因为随着节点数量的增多，发送充电请求也增多，MC的服务能力是有限的，超出MC的服务能力，失效节点数量就会增加，节点等待的时间就会增加，可以看到PFSS算法的失效率始终低于另外两种算法，而且充电延迟受节点数影响不大，这是因为本文算法的充电权重考虑了节点剩余生存时间和节点等待时间，通过策略梯度进行训练，能选择更加适合需要充电的节点，避免节点死亡，降低了最长充电延迟。

由图3c）可以看出，PFSS的充电代价是最高的，其次是DQN，最好的是NJNP算法，这是因为NJNP算法选择的是距离最近的需要充电的节点，随着节点数的增加，节点之间的距离越来越近，NJNP算法在充电代价上的优势明显，而DQN算法是以失效节点数与MC的移动距离作为奖励函数，其节点失效率较NJNP好，充电代价较PFSS低，但是其没有考虑充电延迟，因此其在失效率跟充电延迟方面较PFSS差。虽然PFSS的充电代价较高，但是其以付出充电代价来换取较低的充电延迟和节点失效率，并且充电代价与DQN算法相差较小，因此PFSS的充电代价虽然是三种算法中表现最差的，但与别的算法差距不算大，结合另外两个性能指标，PFSS的充电代价在可接受的范围内。

3.2 MC的移动速度对性能的影响

本组实验研究MC的移动速度对算法性能的影响，令其他参数维持默认值，MC的移动速度从1～7 m/s逐渐变化，模拟1 000组数据，各个算法性能的变化如图4所示。

如图4a）和图4b）所示，各个算法的失效率和充电延迟随着MC速度增加而下降，这是因为随着MC速度的增加，从一个节点移动到另一个节点消耗的时间减少，MC能够更快地响应更多的节点，因此失效的节点数和充电延迟都下降。

如图4c）所示，各个算法的充电代价随着MC速度增加而上升，这是因为随着MC速度的增加，响应的节点数增加，导致MC的移动距离增大，因此充电代价随着充电效率的增加而增加。

4、结语

本文提出了一种WRSN中保证响应公平策略，使MC在节点能耗动态变化的情况下，MC能公平响应节点的充电需求，降低节点等待时间，降低失效节点数，并且尽可能地减少MC的移动能耗。利用过往节点能量记录对节点能耗进行估算，将节点到MC的距离、等待时间、剩余生存时间作为策略网络的输入，采用seq2seq与Attention结合的网络结构，输出应该充电的节点。仿真实验结果表明，PFSS方案能够有效降低失效节点的数量、充电延迟，并且尽可能地降低充电代价。

图4 MC的移动速度对性能的影响

文章来源:叶健锋.基于策略梯度的WRSN公平能量补充方案[J].现代电子技术,2024,47(01):30-35.