公开(公告)号：CN114861932B

公开(公告)日：2025-01-07

申请号：CN202210387353.6

申请日：2022-04-13

Applicant: 南京大学

Inventor： 杨育彬 ,  顾志浩

IPC: G06N3/092 ,  G06N3/045 ,  G06N3/006

Abstract: 本发明提供了一种使用注意力网络的值分解多智能体强化学习训练方法，包括使用探索策略的经验收集和联合动作值函数计算。在计算联合动作值函数时使用了两种方法以提升效果：使用注意力网络和分离式的值分解结构。注意力网络使用全局状态作为输入，使得网络可以注意到全局状态中重要的部分，更加精确的计算权重。分离式的值分解结构采用了两层加权网络，每层网络使用不同的全局状态编码，减小超网络学习的难度。每个智能体独立的动作值函数使用超网络融合，最终输出联合动作值函数。本发明使用的注意力网络和分离式值分解结构有效的提升了学习效率，加速了模型收敛，提高了多智能体协作策略的效果。

公开(公告)号：CN114861932A

公开(公告)日：2022-08-05

申请号：CN202210387353.6

申请日：2022-04-13

Applicant: 南京大学

Inventor： 杨育彬 ,  顾志浩

IPC: G06N20/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种使用注意力网络的值分解多智能体强化学习训练方法，包括使用探索策略的经验收集和联合动作值函数计算。在计算联合动作值函数时使用了两种方法以提升效果：使用注意力网络和分离式的值分解结构。注意力网络使用全局状态作为输入，使得网络可以注意到全局状态中重要的部分，更加精确的计算权重。分离式的值分解结构采用了两层加权网络，每层网络使用不同的全局状态编码，减小超网络学习的难度。每个智能体独立的动作值函数使用超网络融合，最终输出联合动作值函数。本发明使用的注意力网络和分离式值分解结构有效的提升了学习效率，加速了模型收敛，提高了多智能体协作策略的效果。