一种电力线通信网络拓扑控制方法、装置、设备及介质与流程

文档序号:24824568 发布日期:2021-04-27 15:37
一种电力线通信网络拓扑控制方法、装置、设备及介质与流程

1.本申请涉及电力线通信技术领域,尤其涉及一种电力线通信网络拓扑控制方法、装置、设备及介质。


背景技术:

2.由于用户经常会改变供电范围和供电对象,使低压配电网物理拓扑具有了一定的“时变性”。同时,低压配电网内负载是经常变化的,这种变化会导致通信信道的变化甚至使通信链路发生中断,从而导致低压配电网的逻辑拓扑发生变化。这都会降低电力线通信的可靠性。
3.近年来,研究人员在拓扑控制方面上更倾向使用扁平化的架构,提出的方法不具备学习能力,导致一定程度上不能根据场景的变化而动态调整拓扑,并且在网络自愈方面也缺乏有效的控制机制。
4.传统分簇算法中,令网络中拥有某些关联的节点集合组成簇,每个簇包含1个簇头节点和多个簇内成员节点。其中,簇头节点是通过某种算法或者规则挑选出来,收集簇内信息,进行数据融合处理,从而完成协调和管理簇内成员节点工作的节点,还需要实现簇间转发的功能。
5.非交叠分簇算法,对低压配电网窄带电力线通信数据逻辑链路的选择、建立、自动路由等方面做研究探讨,提出一种基于非交叠分簇的动态路由算法和网络重构算法。该算法可以根据信道质量的变化动态地建立、维护、优化电力线通信网络路由,保证通信网络的有效性。
6.人工蛛网拓扑控制算法,此方法提出基于人工蛛网的通信模型, 用人工蛛网组成的逻辑拓扑网络替代传统的低压配电网中主要负责通信协议的部分层网络,并制定新的自动路由协议,建立人工蛛网仿真模型。
7.改进遗传算法,不仅融合了图的遍历算法的思想和dijkstra算法的优点,而且结合了小生境技术最优保留原则,可以较好地动态适应环境。


技术实现要素:

8.本申请提供了一种电力线通信网络拓扑控制方法、装置、设备及介质,使得有选择性的找出可靠节点进行通信拓扑选择。
9.有鉴于此,本申请第一方面提供了一种电力线通信网络拓扑控制方法,所述方法包括:
10.s01:计算当前链路的信噪比;
11.s02:若所述信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;
12.s03:获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,所述动作包括发送信息至邻居节点;
13.s04:选择即时回报最高的所述动作及所述动作对应的所述下一时刻的状态,更新
q值;
14.s05:若更新得到的q值不收敛,则返回步骤s03;
15.s06:若所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择。
16.可选的,还包括:
17.若所述信噪比不属于所述预置信噪比窗口范围,则计算当前链路的通信成功率;
18.根据所述通信成功率判断链路的可靠性。
19.可选的,所述计算当前链路中各节点的q值,包括:
[0020][0021]
式中:s
t
为节点在时间t的状态,s
t
∈s
*
,s
*
表示状态集合,即当前状态s
t
的所有可能的状态;a
t
为节点在时间t的动作,a
t
∈a,a表示动作集合;r为t时刻即时回报;γ为折扣因子,用于确定延迟回报与立即回报的相对比例,0≤γ≤1;α为学习因子,0<α≤1;q
t+1
和q
t
分别为节点在t+1和t时的q值;表示节点在t+1时采取动作a 的最大q值。
[0022]
可选的,所述选择即时回报最高的动作及动作对应的所述下一时刻的状态,更新q值,包括:
[0023]
选择即时回报最高的动作a
t
及动作对应的所述下一时刻的状态s
t+1
更新q值:
[0024][0025]
可选的,所述若所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择,包括:
[0026]
获取节点的q值收敛情况下的具有最优即时回报的第一动作,获得所述第一动作对应的最优邻居节点;
[0027]
根据每个节点对应的最优节点进行通信拓扑选择。
[0028]
本申请第二方面提供一种电力线通信网络拓扑控制装置,所述装置包括:
[0029]
第一计算单元,用于计算当前链路的信噪比;
[0030]
第二计算单元,用于当所述信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;
[0031]
第一获取单元,用于获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,所述动作包括发送信息至邻居节点;
[0032]
更新单元,用于选择即时回报最高的所述动作及所述动作对应的下一时刻的状态,更新q值;
[0033]
迭代单元,用于当更新得到的q值不收敛,则返回所述第一获取单元;
[0034]
拓扑选择单元,用于当所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择。
[0035]
可选的,还包括:
[0036]
第三计算单元,用于当所述信噪比不属于所述预置信噪比窗口范围,则计算当前链路的通信成功率;
[0037]
判断单元,用于根据所述通信成功率判断链路的可靠性。
[0038]
可选的,所述拓扑选择单元包括:
[0039]
第二获取单元,用于获取节点的q值收敛情况下的具有最优即时回报的第一动作,获得所述第一动作对应的最优邻居节点;
[0040]
第二拓扑选择单元,用于根据每个节点对应的最优节点进行通信拓扑选择。
[0041]
本申请第三方面提供一种电力线通信网络拓扑控制设备,所述设备包括处理器以及存储器:
[0042]
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
[0043]
所述处理器用于根据所述程序代码中的指令,执行如上述第一方面所述的电力线通信网络拓扑控制方法的步骤。
[0044]
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面所述的方法。
[0045]
从以上技术方案可以看出,本申请具有以下优点:
[0046]
本申请中,提供了一种电力线通信网络拓扑控制方法,计算当前链路的信噪比;若信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,动作包括发送信息至邻居节点;选择即时回报最高的动作及动作对应的下一时刻的状态,更新q值;若更新得到的q值不收敛,重新更新下一时刻状态及对应的q值;直到所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择。
[0047]
本申请通过能够在电力线通信网络组网不很稳定的情况下,利用q 学习算法模型来判断链路的可靠性,有选择性的找出可靠节点从而进行通信拓扑方式选择。通过设置信噪比窗口,只在预置信噪比窗口范围进行q学习判断该链路的可靠性;而低于窗口区间和高于窗口区间的值,则根据阈值直接判定链路可靠性,从而降低了q学习计算量。
附图说明
[0048]
图1为本申请一种电力线通信网络拓扑控制方法的一个实施例的方法流程图;
[0049]
图2为本申请一种电力线通信网络拓扑控制方法的另外一个实施例的方法流程图;
[0050]
图3为本申请一种电力线通信网络拓扑控制装置的一个实施例的装置结构图。
具体实施方式
[0051]
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0052]
图1为本申请一种电力线通信网络拓扑控制方法的一个实施例的方法流程图,如图1所示,图1中包括:
[0053]
s01:计算当前链路的信噪比;
[0054]
需要说明的是,计算当前链路的信噪比,本申请可以通过信噪比对当前链路是否为可靠链路进行判断。
[0055]
s02:若信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;
[0056]
需要说明的是,若计算得到的信噪比属于预置的信噪比窗口范围内,则计算链路中各节点的q值,节点q值的计算方法为:
[0057][0058]
式中:s
t
为节点在时间t的状态,s
t
∈s(s表示状态集合);a
t
为节点在时间t的动作,a
t
∈a(a表示动作集合);r为t时刻即时回报;γ∈[s,a)为折扣因子,用于确定延迟回报与立即回报的相对比例,0≤γ≤1,如果γ为1,则对未来的奖励(延迟回报)和当前奖励(立即回报)是一样的重要程度;如果γ等于0,就不属于强化学习了,而是一种预测问题,即在什么状态下做什么动作,会对应什么奖励的这么一个二元预测问题;α为学习因子,0<α≤1;q
t+1
和q
t
分别为节点在t+1和 t时的q值;可以通过s
t
和a
t
得到下一时刻的系统状态,表示节点在t+1时采取动作a的最大q值。
[0059]
式中,回报函数r(i,j)表示节点直接/间接向网关注册后获得的即时回报,具体为:
[0060][0061]
式中:w
i
为收到学习消息的节点i链路权值;w
j
为发送学习消息的节点j链路权值;χ
ij
为发送学习消息的节点j与收到学习消息的节点i 间的跳数。该式综合考虑链路质量、距离等因素,反映在网络变化时节点获取的回报。
[0062]
s03:获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,所述动作包括发送信息至邻居节点;
[0063]
s04:选择即时回报最高的动作及动作对应的下一时刻的状态,更新q值;
[0064]
需要说明的是,由于不同的应用场景可能具有不同的资源,调控α可使q值更新,方法收敛。当α=1时,为确定性回报下的学习规则,则q值的更新公式为:
[0065][0066]
q学习算法利用获得状态和奖励并在每个时间t选择动作来递归地学习最佳q值,a表示学习速率a∈(0,1),如果每个状态对被访问无数次,并且学习率a减小到零,则q(s
t
,a
t
)以概率1收敛到最优价值动作函数q*(s
t
,a
t
);即q学习算法是通过对环境的不断感知,积累历史经验,经过不断地试错和不断地强化,学习主体可以自主地选择最佳的动作目标。流程如下:建立一个q值表,初始化每一个状态
‑ꢀ
动作对对应的q值q(s
t
,a
t
)=0;判断q值是否收敛。若收敛,算法完成,退出程序;若未收敛,则按如下步骤进行:1)观察当前时刻状态s
t
;2)根据当前状态和策略选择动作a
t
;3)执行动作a
t
,获取立即回报r(s
t
,a
t
);4)观察新状态s
t+1
,并更新q值表,直到q值收敛。
[0067]
s05:若更新得到的q值不收敛,则返回步骤s03;
[0068]
需要说明的是,当更新得到的q值不收敛,则将新状态作为新的当前时刻状态,重新根据当前的状态和策略选择动作,并执行动作获取立即回报,继续选择即时回报率最高的动作及动作对应的下一时刻的状态,更新q值,直到q值收敛。
[0069]
s06:若所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择。
[0070]
需要说明的是,当所有节点的q值都收敛时,则可以得到每个节点最优的动作,由
于最优动作是指节点发送信息至邻居节点时,获取即时回报最高的动作,则可以根据最优动作得到节点下一步传输的最优邻居节点,即可以根据每个节点的下一步传输的最优邻居节点进行通信拓扑选择。
[0071]
本申请通过能够在电力线通信网络组网不很稳定的情况下,利用q 学习算法模型来判断链路的可靠性,有选择性的找出可靠节点从而进行通信拓扑方式选择。通过设置信噪比窗口,只在预置信噪比窗口范围进行q学习判断该链路的可靠性;而低于窗口区间和高于窗口区间的值,则根据阈值直接判定链路可靠性,从而降低了q学习计算量。
[0072]
本申请还提供了一种电力线通信网络拓扑控制方法的另外一个实施例,如图2所示,图2中包括:
[0073]
s21:计算当前链路的信噪比;
[0074]
s22:若信噪比不属于预置信噪比窗口范围,则计算当前链路的通信成功率;
[0075]
s23:根据通信成功率判断链路的可靠性;
[0076]
需要说明的是,若当前链路的信噪比不属于预置信噪比窗口的范围,则计算当前链路的通信成功率,根据通信成功率判断链路的可靠性。
[0077]
具体的,可以将信道状态定义为3种状态,当状态为1时,表示通信成功率csr较大,信道状况良好,组网帧可正确接收;当状态2 时,表示csr较小,信道状况较差,组网帧能接收,但解析误码较大,存在数据错误。当状态为3时,表示csr很小,信道状况恶劣,组网帧无法传输。
[0078]
受各种因素的影响,信道状态会在1,2,3间进行转换。根据等效状态可知,只有信道状态处于等效状态1时,组网帧不重发。等效状态为2或3时,认为组网帧发送失败,需要重传。
[0079]
在电力线通信网络信道环境中,设上/下行链路的通信成功率csr 阈值分别为λ1和λ2,只有满足上/下行链路csr阈值要求的条件时,采取相应的组网动作才能判定链路可靠性。
[0080]
信噪比从0到最大之间设定一个窗口,只在窗口区间内进行q学习判断该链路的可靠性;而低于窗口区间和高于窗口区间的值,则根据阈值直接判定链路可靠性,降低计算量。
[0081]
s24:若信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;
[0082]
s25:获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,动作包括发送信息至邻居节点;
[0083]
s26:选择即时回报最高的动作及动作对应的下一时刻的状态,更新q值;
[0084]
s27:若更新得到的q值不收敛,则返回步骤s03;
[0085]
s28:获取节点的q值收敛情况下的具有最优即时回报的第一动作,获得第一动作对应的最优邻居节点。
[0086]
s29:根据每个节点对应的最优节点进行通信拓扑选择。
[0087]
需要说明的是,当所有节点的q值都收敛时,则可以得到每个节点具有最优即时回报的第一动作,由于第一动作是指节点发送信息至邻居节点时,获取即时回报最高的动作,则可以根据最优动作得到节点下一步传输的最优邻居节点,即可以根据每个节点的下一步传输的最优邻居节点进行通信拓扑选择。
[0088]
以上是本申请的方法的实施例,本申请还提供了一种电力线通信网络拓扑控制装置的一个实施例,如图3所示,图3中包括:
[0089]
第一计算单元301,用于计算当前链路的信噪比;
[0090]
第二计算单元302,用于当信噪比属于预置信噪比窗口范围,则计算当前链路中各节点的q值;
[0091]
第一获取单元303,用于获取节点当前时刻的状态及动作,并观察执行当前时刻动作所对应的下一时刻的状态,动作包括发送信息至邻居节点;
[0092]
更新单元304,用于选择即时回报最高的所述动作及动作对应的下一时刻的状态,更新q值;
[0093]
迭代单元305,用于当更新得到的q值不收敛,则返回第一获取单元;
[0094]
拓扑选择单元306,用于当所有节点的q值都收敛,则选择最可靠的节点进行通信拓扑选择。
[0095]
在一种具体的实施方式中,还包括:
[0096]
第三计算单元,用于当信噪比不属于预置信噪比窗口范围,则计算当前链路的通信成功率;
[0097]
判断单元,用于根据通信成功率判断链路的可靠性。
[0098]
拓扑选择单元包括:
[0099]
第二获取单元,用于获取节点的q值收敛情况下的具有最优即时回报的第一动作,获得第一动作对应的最优邻居节点;
[0100]
第二拓扑选择单元,用于根据每个节点对应的最优节点进行通信拓扑选择。
[0101]
本申请还提供了一种电力线通信网络拓扑控制设备,设备包括处理器以及存储器:
[0102]
存储器用于存储程序代码,并将程序代码传输给处理器;处理器用于根据程序代码中的指令执行本申请实施例中的一种电力线通信网络拓扑控制方法。
[0103]
本申请还提供了一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,所述程序代码用于执行本申请实施例中的一种电力线通信网络拓扑控制方法。
[0104]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0105]
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0106]
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指
这些项中的任意组合,包括单项(个)或复数项 (个)的任意组合。例如,a,b或c中的至少一项(个),可以表示: a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c 可以是单个,也可以是多个。
[0107]
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0108]
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
再多了解一些
当前第1页 1 2 3
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1