一种基于深度强化学习的智能网络编码方法和设备

    公开(公告)号:CN112564712B

    公开(公告)日:2023-10-10

    申请号:CN202011344089.5

    申请日:2020-11-26

    Abstract: 本发明提供一种基于深度强化学习的网络编码方法,所述方法包括:源节点将要发送的信息划分成K个片,根据源节点编码模型确定每个片的编码系数,生成并向下一跳节点发送编码包;中间节点接收前一节点发送的编码包,将收到的编码包再次编码,根据中间节点编码模型确定编码系数,生成并向下一跳节点发送编码包,其中所述源节点和中间节点编码模型通过对DQN网络训练得到。本发明可以根据网络动态变化来自适应地调节编码系数,改善解码效率,并具备良好的模型泛化能力,能泛化于具有不同网络规模和不同链路质量下的网络,本发明分别在源节点和中间节点上分布式执行的各自的编码系数优化模型,简化了编码系数优化实施并且改善了DQN训练的稳定性。

    基于深度强化学习的无人系统网络自适应路由方法和系统

    公开(公告)号:CN112202848A

    公开(公告)日:2021-01-08

    申请号:CN202010968137.1

    申请日:2020-09-15

    Abstract: 本发明提出一种基于深度强化学习的无人系统网络自适应路由方法,旨在解决现有技术中节点的高速移动、频繁变化的网络拓扑,无法提供自适应路由策略的技术问题。所述方法包括:所有节点以一个自适应的时间间隔发送HELLO信息包;任一节点收到其邻居节点发送的HELLO信息包后,更新该节点的邻居表中该邻居节点的节点信息;建立基于深度强化学习的路由策略算法框架;设计基于深度强化学习的路由策略实现方法。本发明具备良好的模型泛化能力,能泛化于具有不同网络规模和不同节点移动速度的网络上,使得本发明更适用于具有动态变化的无人系统网络。

    一种适用于长延迟SIC网络的链路调度方法和系统

    公开(公告)号:CN107682924B

    公开(公告)日:2020-01-07

    申请号:CN201710917120.1

    申请日:2017-09-30

    Abstract: 本发明涉及一种适用于长延迟SIC网络的链路调度方法和系统,包括:根据发送节点数目、环境噪声功率和SIC算法的信号干扰比阈值,生成各发送节点的传输信号所能被SIC算法解码的最小功率值,通过将最小功率值集合为K‑SIC功率阈向量以为各发送节点划分发送功率等级;根据各发送节点的发送数据量,判定长延迟网络的负载状态,并根据负载状态和发送功率等级执行最小帧长调度算法,生成长延迟网络的最小调度帧长;根据发送节点数目、最小调度帧长和接收节点的接收机制,执行最小功率调度算法,得到使得全网功耗最小的链路调度策略。由此可提升长延迟SIC网络内节点间的传输效率,并降低长延迟SIC网络的整体能耗。

    无人机自组网自适应路由方法和系统

    公开(公告)号:CN109587751A

    公开(公告)日:2019-04-05

    申请号:CN201910012976.3

    申请日:2019-01-07

    Abstract: 本发明涉及一种无人机自组网自适应路由方法,包括:以无人机自组网中的无人机为节点,所有节点以预定周期发送握手包;任一节点接收其邻居节点发送的握手包,获取并更新该邻居节点的节点信息;该节点发送或转发数据包时,获取该数据包从该节点到目标节点的要求传输速度,以及该数据包从该节点到该邻居节点的实际传输速度,以大于或等于该要求传输速度的该实际传输速度对应的邻居节点为候选节点;根据该候选节点的节点信息,通过Q-learning算法获得该候选节点的Q值,以最大Q值对应的候选节点为下一跳的路由节点进行该数据包的路由。

    一种针对6TiSCH多跳无线网络的动态链路调度方法

    公开(公告)号:CN107257261A

    公开(公告)日:2017-10-17

    申请号:CN201710350556.7

    申请日:2017-05-18

    CPC classification number: H04W72/1231 H04B17/309 H04W72/1221

    Abstract: 本发明提供一种针对6TiSCH多跳无线网络的动态链路调度方法,包括:1)获得在当前环境下从源节点到潜在的目的节点的信道概率,所述信道概率为在干扰下数据传输正确的概率;2)若所述信道概率小于等于设定的阈值,则执行以下步骤:2‑1)确定所述源节点到潜在的目的节点的端到端平均时延fD以及能量消耗fE;2‑2)求解使得端到端平均时延fD最小、以及能量消耗fE最小的条件下的链路调度决策变量x,所述链路调度决策变量x决定某一个节点在时隙‑频率块中以何种概率对来自其它节点的数据包进行转发。

    一种基于深度强化学习的无线网络分布式实时调度方法

    公开(公告)号:CN117336875A

    公开(公告)日:2024-01-02

    申请号:CN202311356766.9

    申请日:2023-10-19

    Abstract: 本发明提供了一种基于深度强化学习的无线网络分布式实时调度方法,无线网络包括预定范围内的多个节点,节点为接入点或者移动用户节点,方法包括:在每个节点中分别执行预设的分布式调度协议,基于所述协议为本节点的每条数据流建立一个调度组件以调度发送数据的数据流,其中,每个数据流的调度组件被配置为:为该数据流维护用于描述其流量特征的流量模型,并将最新的流量模型广播给无线网络中的各数据流的调度组件;监测每个时隙中该数据流对应的状态集合和历史观测信息;为该数据流部署专属的强化学习模型,其用于根据该数据流在当前时隙对应的状态集合和历史观测信息预测动作;和至少基于所述强化学习模型预测的动作确定当前时隙的实际动作。

    基于深度强化学习的无人系统网络自适应路由方法和系统

    公开(公告)号:CN112202848B

    公开(公告)日:2021-11-30

    申请号:CN202010968137.1

    申请日:2020-09-15

    Abstract: 本发明提出一种基于深度强化学习的无人系统网络自适应路由方法,旨在解决现有技术中节点的高速移动、频繁变化的网络拓扑,无法提供自适应路由策略的技术问题。所述方法包括:所有节点以一个自适应的时间间隔发送HELLO信息包;任一节点收到其邻居节点发送的HELLO信息包后,更新该节点的邻居表中该邻居节点的节点信息;建立基于深度强化学习的路由策略算法框架;设计基于深度强化学习的路由策略实现方法。本发明具备良好的模型泛化能力,能泛化于具有不同网络规模和不同节点移动速度的网络上,使得本发明更适用于具有动态变化的无人系统网络。

    一种分布式工业无线网介质访问控制方法及系统

    公开(公告)号:CN110062476B

    公开(公告)日:2021-04-02

    申请号:CN201910237579.6

    申请日:2019-03-27

    Abstract: 本发明提出一种分布式工业无线网介质访问控制方法及系统,包括:分布式工业无线网中欲发送报文的发送节点向接收节点发送传输请求,接收节点成功接收到传输请求后,向发送节点的邻居节点广播功率竞争启动报文;邻居节点根据功率竞争启动报文中的功率要求,参与功率竞争并发送竞争报文至接收节点;接收节点收到竞争报文后,发送竞争结束报文至邻居节点,邻居节点根据竞争结束报文判断其是否竞争成功,若成功,则邻居节点和发送节点均发送报文通过功率域上的多路接入被接收节点同时接收,否则仅发送节点均发送报文至接收节点。本发明可应用于工业无线网络,实现功率区分多路访问的低延迟分批竞争MAC,降低接入时延,提升工业无线网络的工作效率。

    基于最近邻居回归的时序水声信道质量预测方法和系统

    公开(公告)号:CN109831264B

    公开(公告)日:2020-07-24

    申请号:CN201810121137.0

    申请日:2018-02-07

    Abstract: 本发明涉及一种基于最近邻居回归的时序水声信道质量预测方法,包括:初始化步骤水下传感网节点接收初始数据包,以获得邻居节点的标识、剩余能耗及信噪比值并建立包括邻居节点的标识、剩余能耗及信噪值的信道质量矩阵;主动发包步骤,进入主动发包状态的节点采用基于最近邻居回归的时序水声信道质量评估算法,获取其邻居信道质量评估值,并根据该评估值,确认下一跳的转发节点,将该转发节点的标识加入数据包,并广播该评估数据包;被动接收步骤,处于被动接收状态的节点接收到该数据包后,更新该信道质量矩阵,并通过比对标识,判断自身是否为该转发节点。

Patent Agency Ranking