公开(公告)号：CN118170152A

公开(公告)日：2024-06-11

申请号：CN202410396849.9

申请日：2024-04-02

Applicant: 南京航空航天大学

Inventor： 张莉涓 ,  王雪莹 ,  高攀 ,  宋晓勤 ,  雷磊 ,  林杭 ,  杨芙蓉 ,  赵世宏 ,  鹿宇航

IPC: G05D1/46 ,  G05D1/695

Abstract: 本发明针对大规模复杂战场中大面积联合区域覆盖时间开销大、连通性难以保障的问题，提出一种无人机分区协同区域覆盖方法。首先，设计了一种基于几何区域划分的分层联合区域覆盖框架，并提出了一种基于联邦强化学习的多区域协作覆盖方法。协作方法通过对偶双重深度Q网络对每个智能体进行分布式训练，并结合联邦聚合更新各智能体的模型参数，加快收敛速度。仿真结果表明，所提方法能够实现对大规模目标区域的全覆盖，并且相比较于基线方法有更小的覆盖时间开销和更高的集群网络连通性。

公开(公告)号：CN116225055A

公开(公告)日：2023-06-06

申请号：CN202310043150.X

申请日：2023-01-06

Applicant: 南京航空航天大学

Inventor： 张莉涓 ,  彭佳宾 ,  雷磊 ,  伊尉国 ,  林杭 ,  吕博 ,  李志林 ,  曹盼 ,  宋晓勤

IPC: G05D1/10

Abstract: 本发明公开了一种复杂环境下基于状态分解的无人机自主航迹规划算法。该发明属于无人机控制领域，主要解决了无人机在大规模复杂且障碍物密集的动态环境中实时避障并自主完成航迹规划的问题。所提算法通过将无人机航迹规划问题建模成为马尔可夫决策过程，利用深度强化学习对问题进行求解。通过对无人机的状态空间进行分解，引入了两个子网络对“演员‑评论家”架构进行了重新设计；利用smooth L1损失函数实现了对异常训练数据的处理。同时，设计了动态ε衰减策略实现了“探索‑利用”之间的平衡。本算法确保了无人机在实现避开障碍物的同时能够自主完成航迹规划，大量的仿真实验证明了该算法的有效性和鲁棒性。

公开(公告)号：CN116448119A

公开(公告)日：2023-07-18

申请号：CN202310429400.3

申请日：2023-04-20

Applicant: 南京航空航天大学

Inventor： 张莉涓 ,  伊尉国 ,  林杭 ,  栗志 ,  王俊杰 ,  王雪莹 ,  宋晓勤 ,  雷磊 ,  朱晓浪

IPC: G01C21/20 ,  G06N3/092

Abstract: 本发明公开了一种面向突发威胁的无人蜂群协同航迹规划方法。该发明属于无人机控制领域，主要解决了无人机在突发威胁且障碍物密集的复杂环境中实时避障并自主完成航迹规划的问题。所提算法通过将无人机航迹规划问题建模成为马尔可夫决策过程，利用深度强化学习对问题进行求解。通过对复杂环境威胁分类并进行归一化建模，针对无人机动作状态空间，引入具有“目标网络‑评估网络”架构的DDQN算法，并将奖励函数重塑，实现了对复杂威胁的感知与避障功能。同时，设计了动态ε衰减策略实现了“探索‑利用”之间的平衡。本算法确保了无人机在实现避开环境威胁的同时能够自主完成航迹规划，大量的仿真实验证明了该算法的有效性和鲁棒性。

公开(公告)号：CN118311974A

公开(公告)日：2024-07-09

申请号：CN202410396627.7

申请日：2024-04-02

Applicant: 南京航空航天大学

Inventor： 张莉涓 ,  林杭 ,  雷磊 ,  鹿宇航 ,  宋晓勤 ,  赵世宏 ,  彭佳宾

IPC: G05D1/46 ,  G05D1/622

Abstract: 本发明公开了一种多目标场景下基于分层优化的多无人机协同航迹规划方法.本发明属于无人机控制领域，主要解决了分布式多无人机在多目标场景下实时避障并协同完成航迹规划的问题。所提方法采用分层体系架构，将多无人机航迹规划和任务分配进行联合优化。在上层，通过将任务分配过程建模为特定的优化问题，利用粒子群优化方法进行多任务的实时动态分配。在下层，将多无人机协同航迹规划问题建模成为部分可观测马尔可夫决策过程，利用深度强化学习对问题进行求解。通过为Actor网络融入长短期记忆网络，有效提高了无人机的行为决策能力.本方法确保多无人机系统实现任务的实时动态分配的同时，获得了更强的航迹规划能力，仿真实验证明了该方法的有效性和鲁棒性。

公开(公告)号：CN118233859A

公开(公告)日：2024-06-21

申请号：CN202410396940.0

申请日：2024-04-02

Applicant: 南京航空航天大学

Inventor： 张莉涓 ,  杨芙蓉 ,  高攀 ,  王雪莹 ,  雷磊 ,  林杭 ,  赵世宏 ,  鹿宇航 ,  宋晓勤

IPC: H04W4/40 ,  H04W24/02 ,  H04L41/14 ,  H04L41/142 ,  H04L41/16 ,  G06N3/092

Abstract: 本发明公开了一种面向低截获概率的无人机集群动态区域覆盖方法。该发明属于无人机领域，主要解决了无人机在一些敌我对抗激烈的子战场中完成对我方地面战车的通信覆盖并且降低被敌方雷达截获概率，同时保持无人机之间连通性的问题。所提方法通过将无人机集群对地面作战车的动态区域覆盖问题建模成部分可观测马尔可夫决策过程，利用深度强化学习对问题进行求解。本方法引入两个Critic网络和一个Actor网络对“演员‑评论家”架构进行了重新设计。引入延迟更新策略实现了“探索与利用”之间的平衡。同时，设计了奖励值增强的优先经验回放机制实现了价值较高经验的利用率。大量仿真结果表明，本方法无论是在收敛性能方面还是在信息传输率、无人机网络连通性以及联合截获概率方面都比传统方法更优。