公开(公告)号：CN116471629A

公开(公告)日：2023-07-21

申请号：CN202310501916.4

申请日：2023-05-06

Applicant: 重庆邮电大学

Inventor： 雷建军 ,  周盈 ,  刘捷 ,  谭德望

IPC: H04W28/02 ,  H04W74/08 ,  H04L47/26 ,  H04L47/263 ,  H04L47/12 ,  H04L47/50 ,  H04L41/16 ,  G16Y10/75 ,  G16Y40/10 ,  G16Y40/30 ,  G06N3/092 ,  G06N3/0499 ,  G06N3/044

Abstract: 本发明属于计算机技术领域，具体涉及一种基于深度强化学习的物联网智能拥塞控制方法，构建物联网系统；终端节点向簇头节点发送数据包；簇头节点根据终端节点发送的数据包设置缓冲队列，并获取当前簇头节点状态信息；根据当前簇头节点状态信息确定簇头节点的拥塞状态，并将拥塞状态发送给中继节点；中继节点根据拥塞状态获取物联网中各个节点的状态信息，并将状态信息发送给sink节点；sink节点采用DQN算法对物联网的状态信息进行优化，得到拥塞控制策略，并对簇头节点中的队列任务进行分配，完成拥塞控制；本发明引入了反馈恢复机制，充分考虑了由于信道质量带来的反馈丢失和延迟问题，节约了带宽资源且降低数据包递送延迟。

公开(公告)号：CN116234053A

公开(公告)日：2023-06-06

申请号：CN202310088802.1

申请日：2023-02-09

Applicant: 重庆邮电大学

Inventor： 雷建军 ,  谭德望 ,  刘捷 ,  周盈

IPC: H04W74/08 ,  G06N3/045 ,  G06N3/092 ,  H04W74/00 ,  H04W84/18 ,  H04L41/16 ,  G16Y10/75

Abstract: 本发明涉及无线通信领域，具体涉及一种基于深度强化学习的高密集物联网信道接入方法，包括当有新节点加入通信网络时，对通信网络进行初始化；每次初始化完成后按照超帧周期进行数据传输，在一个超帧周期中包括数据传输周期和控制周期，在控制周期中节点侦听sink节点广播的接入竞争窗口、最大退避指数进而最大退避次数，在数据传输周期中节点根据上一超帧周期中的控制周期广播的信道接入参数进行信道接入；在数据传输周期结束后，sink节点根据Q‑learning算法选择动作价值最大对应的接入参数作为下一超帧周期的接入参数；本发明避免了在高密集的网络环境下大量碰撞的产生，在提高网络吞吐量的同时，减少丢包率。

公开(公告)号：CN114024639A

公开(公告)日：2022-02-08

申请号：CN202111318928.0

申请日：2021-11-09

Applicant: 重庆邮电大学

Inventor： 雷建军 ,  尚凤军 ,  王颖 ,  刘捷 ,  周盈

IPC: H04B17/382 ,  H04B17/391

Abstract: 本发明涉及无线网络通信领域，具体涉及一种无线多跳网络中分布式信道分配方法，包括采用至少包括物理设备层、计算层和网络服务层的物理架构，物理设备层由随机部署在网络中的n个无线节点组成一个多跳的无线通信网络，每个节点作为一个自治的智能体Agent，通过本地决策模块与不确定的网络环境进行交互；计算层的汇聚节点负责对网络中其他站点所收集的数据进行汇聚、分析和处理，且该节点具有边缘计算功能，并可基于节点分布式采集的经验信息训练异步DRL模型，将多信道分配问题建模为POMDP问题，利用训练好的异步DRL模型进行信道分配；本发明解决在高密度多跳无线网络中的隐藏终端和暴露终端问题，有效地避免了数据冲突和信道资源浪费问题。

公开(公告)号：CN116033513A

公开(公告)日：2023-04-28

申请号：CN202310055487.2

申请日：2023-01-17

Applicant: 重庆邮电大学

Inventor： 雷建军 ,  刘捷 ,  谭德望 ,  周盈

IPC: H04W40/02 ,  H04W24/02 ,  H04W24/06 ,  H04W28/08 ,  H04W4/30

Abstract: 本发明属于无线网络通信技术领域，具体涉及一种基于深度强化学习的物联网路由优化方法；该方法包括：将汇聚节点和普通传感器节点组网，构建DODAG；进入数据传输阶段，传感器节点进行数据包收发操作；数据传输阶段结束后，唤醒Trickle定时器重置DIO间隔；进入路由优化阶段，所有节点根据DIO间隔广播DIO控制消息；传感器节点从汇聚节点下载最新模型参数；根据最新模型参数和邻居传感器节点的DIO控制消息进行路由选择并生成经验信息；汇聚节点根据经验对Dueling DQN模型进行训练，更新模型参数；路由优化阶段结束后，冻结Trickle定时器；本发明可以提升网络的负载平衡，生命周期以及可靠性等各项性能。

公开(公告)号：CN114567597A

公开(公告)日：2022-05-31

申请号：CN202210157995.7

申请日：2022-02-21

Applicant: 重庆邮电大学

Inventor： 雷建军 ,  黄昌鑫 ,  詹万科 ,  周盈

IPC: H04L47/12 ,  H04L47/10 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于计算机技术领域，具体涉及一种物联网中基于深度强化学习的拥塞控制方法及装置，采用低功耗有损网络拓扑结构，将中央协调器作为根节点，智能体作为子孙节点；获取子孙节点的数据集并上传给中央协调器；构建基于DQN算法的神经网络模型，中央协调器从数据集中得到子孙节点下一时刻的状态输入训练好的神经网络模型；神经网络模型输出子孙节点下一时刻的动作并通过中央协调器分配给相应的子孙节点，实现网络的拥塞控制；本发明采用集中式方法收集网络节点信息，通过模型获取节点下一个动作，并根据中央协调器进行分配，无需每个节点自己来进行退避因子的计算，减少了整个网络的开销，降低网络的拥塞程度，减少数据包重传次数。