公开(公告)号：CN117240722A

公开(公告)日：2023-12-15

申请号：CN202311158749.4

申请日：2023-09-08

Applicant: 同济大学

Inventor： 赵生捷 ,  李冰 ,  甘俊毅

IPC: H04L41/12 ,  H04L41/14 ,  H04L41/16 ,  H04L45/02 ,  H04W40/02

Abstract: 本发明涉及一种无人机飞行自组织网络路由拓扑优化方法、设备、介质，优化方法包括：使用马尔可夫模型对FANET进行路由性能建模；建立基于多智能体强化学习的拓扑优化模型；设计多智能体强化学习网络模型；采用强化学习策略，通过主动搜索产生用于训练网络模型的数据，同时对网络模型训练优化；对训练后的网络模型进行评估，并使用通过评估的模型进行无人机飞行自组织网络路由拓扑优化方法。与现有技术相比，本发明考虑了网络的实际路由性能，基于多智能体强化学习的拓扑优化模型，能够适应不同规模的场景，以实现更高效的通信和路由，同时可以高效感知网络结构，自动优化网络拓扑结构实现网络整体路由性能提升。

公开(公告)号：CN116546588A

公开(公告)日：2023-08-04

申请号：CN202310568201.0

申请日：2023-05-19

Applicant: 同济大学

Inventor： 李冰 ,  赵生捷 ,  甘俊毅

IPC: H04W40/18 ,  H04W40/24 ,  H04W40/38 ,  H04W40/20 ,  H04L41/12 ,  H04W24/02 ,  H04W84/18 ,  H04B7/185

Abstract: 本发明涉及一种无人机飞行自组织网络路由与拓扑优化方法，用以在无人机飞行自组织网络各节点的数据包收发过程中，进行路由决策和拓扑优化，包括如下步骤：路由决策：针对数据包收发过程中感知的网络参数预测节点间的连接概率并更新状态价值表，选择预期代价最低的动作作为输出，即下一跳中继集；拓扑优化：依据节点状态价值更新节点速度优化网络拓扑结构，提高网络连通度并降低链路跳数以达到节约全局能量的目标。与现有技术相比，本发明具有能耗低、有效性高，且从拓扑优化方向提升网络性能的优点。

公开(公告)号：CN117519239A

公开(公告)日：2024-02-06

申请号：CN202311545061.1

申请日：2023-11-20

Applicant: 同济大学

Inventor： 赵生捷 ,  李冰 ,  甘俊毅

IPC: G05D1/46 ,  G05D109/20

Abstract: 本发明涉及一种无人机控制深度强化学习网络模型构建方法、设备、介质。该方法将针对无人机飞行动作的价值网络分别构建为短视网络和远见网络，并构建策略网络。基于无人机飞行动作场景的采样，构建训练样本，初始化网络参数，训练短视网络，并预训练策略网络。预训练后的短视网络用于对策略网络进行梯度提升，训练直到其收敛或达到预设轮次。训练后的网络模型经过微调，作为无人机飞行动作控制模型。与现有技术相比，本发明将价值网络拆分为短视网络与远见网络，一方面提高了训练样本的复用率，降低了无人机与环境交互的次数，另一方面通过预训练加速了网络收敛速度，进一步降低了训练成本。