公开(公告)号：CN118966646A

公开(公告)日：2024-11-15

申请号：CN202411005417.7

申请日：2024-07-25

Applicant: 东南大学 ,  北京京航计算通讯研究所

Inventor： 蒋嶷川 ,  刘越 ,  陈文博 ,  姜元爽 ,  李攀 ,  狄凯 ,  白洋 ,  郝创博 ,  王宏君

IPC: G06Q10/0631 ,  G06N5/04 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/092

Abstract: 本发明提供了一种针对无人机群中辅助任务不确定到达时间特性的任务目标分配方法，以解决大规模混杂智能无人机群体面对周期性到达的辅助任务决策时的局部最优性问题。在高动态博弈场景中，智能无人机群体需要执行的任务分为主要任务与辅助任务，辅助任务完成可以对主要任务起辅助作用，降低其执行时间。面对实际对抗环境中辅助任务的到达时间与影响范围不确定的情况，提出以下方法。首先，该方法构建任务之间的注意力模型为任务计算特征向量；其次，任务的到达时间等属性结合构建智能体和任务之间的注意力模型；最后，使用分层强化学习的方法对任务进行分配处理。本方法加快了任务整体的完成时间，提高了系统的存活率。

公开(公告)号：CN118966648A

公开(公告)日：2024-11-15

申请号：CN202411005427.0

申请日：2024-07-25

Applicant: 东南大学

Inventor： 蒋嶷川 ,  姜元爽 ,  钱睿溢 ,  狄凯

IPC: G06Q10/0631 ,  G06N3/045 ,  G06N3/092

Abstract: 本发明提出了一种针对多无人机集群任务迁移的混杂图注意强化学习方法。该算法基于混杂注意力机制的多智能体强化学习，通过使用混杂注意力通信机制来学习群体结构的结构影响。具体而言，每个组的领导智能体首先通过组内注意网络了解组内智能体之间的影响关系，分析在多无人机集群下的策略关联，获得每个组的动态沟通信息。随后，各智能体通过组间注意机制综合多个组间的通信信息，学习组间的动态交互，获取任务迁移策略，最终，引导智能体实现高效的任务迁移和协作。

公开(公告)号：CN118966647A

公开(公告)日：2024-11-15

申请号：CN202411005425.1

申请日：2024-07-25

Applicant: 东南大学

Inventor： 蒋嶷川 ,  刘越 ,  陈文博 ,  姜元爽 ,  李攀 ,  狄凯

IPC: G06Q10/0631 ,  G06N5/04 ,  G06N3/042 ,  G06N3/092 ,  G06N3/044

Abstract: 本发明提出了一种针对高动态博弈场景中无人机群体的辅助任务截止时间特性的任务分配方法。该方法旨在解决辅助任务超时消失对系统稳定性的影响。辅助任务在截止时间前完成可加速其他任务的完成。在高动态博弈场景下，辅助任务的作用范围并不确定，辅助任务之间的级联扩散影响也不确定，增大了问题的复杂度。本发明首先对任务进行时间编码，生成特征向量；然后计算任务截止优先级并更新智能体特征；最后应用多智能体系统决策学习进行任务分配。与现有方法相比，本发明通过时间编码和截止优先级的计算，结合注意力机制，有效提升了任务完成率和系统在复杂博弈环境中的存活率。

公开(公告)号：CN116776963A

公开(公告)日：2023-09-19

申请号：CN202310637974.X

申请日：2023-05-31

Applicant: 东南大学

Inventor： 蒋嶷川 ,  陈文博 ,  姜元爽 ,  狄凯

IPC: G06N3/092 ,  G06N3/084 ,  G06N3/045 ,  G06N3/008

Abstract: 本发明提出了针对对抗场景下不确定性辅助任务的分层强化学习方法。首先进行上层的任务分配阶段，智能体先获取全局环境信息，然后提取出其中对自身重要的辅助任务信息，再基于此提取出重要的主要任务信息，最后结合其它智能体的信息学习出任务分配策略；然后进行下层的任务执行阶段，智能体先根据分配结果构建专属子环境，然后在子环境内学习出任务执行顺序，最后执行具体动作。本专利提出的分层强化学习算法可以更高效地帮助多智能体系统学习如何执行不确定辅助任务，通过先学习上层的多智能体不确定辅助任务分配策略，再学习下层的单智能体不确定辅助任务执行策略，分别解决不确定辅助任务对群体和个体的影响，可以有效降低问题的复杂度。

公开(公告)号：CN116520887A

公开(公告)日：2023-08-01

申请号：CN202310640306.2

申请日：2023-05-31

Applicant: 东南大学

Inventor： 蒋嶷川 ,  钱睿溢 ,  姜元爽

IPC: G05D1/10

Abstract: 本发明提供了一种混杂多无人机集群结构自适应调整方法，通过设计一种特殊类型的状态编码器，将异构无人机不同维度的属性和能力汇聚到同一维度，降低了解空间的维度，再使用基于强化学习的集群聚类算法融合处理后的多维异构性数据，学习全局调整策略，调整集群结构并重构网络。该状态编码器的技术核心是为每类无人机单独训练一套神经网络，对每类无人机不同维度的属性和能力做特殊处理，从而更好地反映出异构无人机之间的差异性。本发明在混杂情境下能够汇聚每类无人机不同维度的特征，有效地解决了多维异构性数据融合的问题，提高了混杂多无人机集群的稳定性和效率。

公开(公告)号：CN117196005A

公开(公告)日：2023-12-08

申请号：CN202310909743.X

申请日：2023-07-21

Applicant: 东南大学

Inventor： 蒋嶷川 ,  武星宇 ,  姜元爽 ,  狄凯

IPC: G06N3/092 ,  G06N3/0442 ,  G06N3/042 ,  G06Q10/0631 ,  G06Q30/0201 ,  G06Q50/06

Abstract: 本专利提出一种多重产业链下需求响应的分层图注意力强化学习方法，该专利首先利用长短期记忆网络根据电价的动态变化特征做出决策，然后基于该决策利用分层空间图注意力机制来评估动态因素对多重产业链结构的影响，最后利用这种影响来更新决策。分层空间图注意力机制利用空间图注意力将网络多个节点的信息聚合为单个关键节点，然后，决策智能体基于图注意力机制结合各个关键节点信息对当前决策进行评估。空间图注意力技术能捕获节点间的物理空间关系，并去除冗余节点信息对评估策略的影响。与传统的基于强化学习的需求响应算法相比，本专利能够建模动态因素对多重产业链网络内部和网络之间的影响，从而提高能源管理策略质量。

公开(公告)号：CN116843048A

公开(公告)日：2023-10-03

申请号：CN202210383256.X

申请日：2022-04-13

Applicant: 广州博通信息技术有限公司 ,  东南大学

Inventor： 蒋嶷川 ,  张军强 ,  狄凯 ,  姜元爽 ,  黎国华

IPC: G06Q10/04 ,  G06Q10/0631 ,  G06Q40/12 ,  G06Q30/0202 ,  G06Q50/04

Abstract: 工业生产所调度的各个组件往往处在不同的网络中。因此是一个在多重网络下的调度。如图1所示，多重网络的垂直层各网络存在时间或者模态上的相互影响。在工业4.0中，工业生产往往呈现出复杂化、动态变化的特点。有些组件生产成本随时间动态变化，传统的固定次序或者优先级的生产调度策略，孤立考虑各个网络，追求单一网络利益最大化的调度策略往往陷入局部最优解。根据以上工业软件组件调度存在问题，提出以下调度策略：(1)组件生产成本预测；(2)基于预测的组件生产成本，考虑组件所在网络间的相互影响，决策组件获取调度时间片的时刻以及大小。