公开(公告)号：CN118036702A

公开(公告)日：2024-05-14

申请号：CN202410098501.1

申请日：2024-01-23

Applicant: 哈尔滨工程大学

Inventor： 李一兵 ,  黄雨杰 ,  孙骞 ,  叶方 ,  田园 ,  王芮 ,  徐定西 ,  王杰恪

IPC: G06N3/092 ,  G06N3/045 ,  G06N3/0985

Abstract: 多智能体协同围捕方法及装置，涉及深度强化学习和多智能体技术领域。为解决现有技术中存在的，现有协同多智能体围捕的研究，没有考虑围捕任务的特殊性在解决围捕问题方面存在缺点的技术问题，本发明提供的技术方案为：多智能体协同围捕方法，方法包括：采集智能体逃跑策略、演员网络与中心评论员网络的观测空间、奖励函数和围捕任务完整条件的步骤；构建包括具有目标预测网络的演员网络以及具有成员状态编码器的评论员网络的步骤；对所述演员网络和评论员网络进行预热的步骤；根据所述逃跑策略和奖励函数，更新所述演员网络和评论员网络的步骤；重复更新所述评论员网络，得到训练完成的演员网络的步骤。可以应用于多智能体协同围捕任务工作中。

公开(公告)号：CN117850471B

公开(公告)日：2024-11-26

申请号：CN202311766596.1

申请日：2023-12-21

Applicant: 哈尔滨工程大学

Inventor： 李一兵 ,  张子唐 ,  叶方 ,  孙骞 ,  田园 ,  黄雨杰 ,  周星宇 ,  王杰恪

IPC: G05D1/695 ,  G05D109/20

Abstract: 本发明属于路径规划技术领域，提供一种三维环境下考虑雷达威胁的多智能体协同航迹规划方法及其规划系统。加载任务环境地形数据，采用分辨率30米的DEM数据文件作为任务地形；建立任务环境；定义可行航路结构；定义飞行过程中的约束条件，其中约束条件包括动力学约束、多无人机协同约束、环境安全约束和雷达安全约束；定义飞行过程中的代价函数；使用改进蚁群方法对代价函数进行求解；迭代优化获得最终的规划航路，以实现最小化无人机执行任务所需的路径长度、能量消耗、到达时间差以及被发现概率。本发明用以解决无人机在复杂地形和高度对抗的环境中执行任务时，规划的航线需要满足特定的飞行约束和要求的问题。

公开(公告)号：CN118036644A

公开(公告)日：2024-05-14

申请号：CN202410079321.9

申请日：2024-01-19

Applicant: 哈尔滨工程大学

Inventor： 李一兵 ,  黄雨杰 ,  孙骞 ,  叶方 ,  田园 ,  王杰恪 ,  徐定西

IPC: G06N3/006 ,  G06N3/092 ,  G06N3/048 ,  G06N3/0499

Abstract: 本发明属于多智能体协同围捕领域，提供一种具有时间特征提取机制的深度强化学习多智能体协同围捕方法及其围捕系统。步骤1：初始化环境信息，确定智能体逃跑策略，确定演员网络与中心评论员网络的观测空间，构造奖励函数，构造围捕任务完成条件；步骤2：构建MADDPG架构，其中包括一个具有时间特征提取机制的中心评论员网络以及演员网络；步骤3：智能体与环境信息交互，收集数据，进行预热；步骤4：更新神经网络参数；步骤5：重复步骤4直到完成训练回合数，最终得到训练完成的演员网络，以实现多智能体协同围捕。对于围捕任务来说，准确提取时间特征至关重要，它不仅能显著提升围捕的成功率，也是推进多智能体系统智能化水平的关键。

公开(公告)号：CN118192583A

公开(公告)日：2024-06-14

申请号：CN202410392598.7

申请日：2024-04-02

Applicant: 哈尔滨工程大学

Inventor： 孙骞 ,  王杰恪 ,  黄雨杰 ,  韩豫卓 ,  周星宇 ,  范云霞 ,  李一兵 ,  叶方

IPC: G05D1/43 ,  G05D1/695

Abstract: 一种面向多障碍物环境的多自主水下航行器协同围捕方法、系统、设备及介质，属于多智能体围捕多目标任务领域，解决了现有技术的多自主水下航行器无法应用到水下三维环境的协同狩猎，以及非均匀多AUV狩猎问题中的任务分配问题和待围捕的逃避者有逃避策略，导致难以围捕的问题。方法包括：步骤1：采集逃逸者位置集合、围捕者位置集合和障碍物位置集合，并进行初始化，然后采用动态联盟策略，获得本地任务集合；采用IGBNN算法进行路径规划，得到对应的围捕任务，进行围捕；待所有逃逸者被捕获后，所有围捕者停止围捕运动，围捕完成。本发明适用于在水下环境中对智能逃避者围捕的场景。

公开(公告)号：CN118131797A

公开(公告)日：2024-06-04

申请号：CN202410149254.3

申请日：2024-02-02

Applicant: 哈尔滨工程大学

Inventor： 孙骞 ,  周星宇 ,  范云霞 ,  王芮 ,  韩豫卓 ,  王杰恪 ,  叶方 ,  李一兵

IPC: G05D1/485 ,  G05D101/10

Abstract: 不确定洋流场下的AUV路径规划方法，属于多智能体路径规划领技术领域，尤其涉及在不确定洋流场下的AUV路径规划；解决了现有经典麻雀算法容易陷入局部最优、搜索精度较低的问题，以及解决了三维AUV路径规划在应对复杂水下环境时会面临计算复杂、路径规划效果不理想以及路径搜索不稳定的问题；所述方法包括以下步骤：采用矢量分析法获取每个个体所代表路径的区间响应；利用基于可靠度的区间可能性度方法将每个个体所代表路径的区间响应转化为与每个个体对应的确定值。所述不确定洋流场下的AUV路径规划方法，适用于对不确定洋流场下的AUV路径进行规划。

公开(公告)号：CN117850471A

公开(公告)日：2024-04-09

申请号：CN202311766596.1

申请日：2023-12-21

Applicant: 哈尔滨工程大学

Inventor： 李一兵 ,  张子唐 ,  叶方 ,  孙骞 ,  田园 ,  黄雨杰 ,  周星宇 ,  王杰恪

IPC: G05D1/695 ,  G05D109/20

Abstract: 本发明属于路径规划技术领域，提供一种三维环境下考虑雷达威胁的多智能体协同航迹规划方法及其规划系统。加载任务环境地形数据，采用分辨率30米的DEM数据文件作为任务地形；建立任务环境；定义可行航路结构；定义飞行过程中的约束条件，其中约束条件包括动力学约束、多无人机协同约束、环境安全约束和雷达安全约束；定义飞行过程中的代价函数；使用改进蚁群方法对代价函数进行求解；迭代优化获得最终的规划航路，以实现最小化无人机执行任务所需的路径长度、能量消耗、到达时间差以及被发现概率。本发明用以解决无人机在复杂地形和高度对抗的环境中执行任务时，规划的航线需要满足特定的飞行约束和要求的问题。