公开(公告)号：CN113467515B

公开(公告)日：2023-03-10

申请号：CN202110828301.3

申请日：2021-07-22

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  黎铭 ,  周志华 ,  张逸风 ,  袁雷 ,  靳学坤 ,  贾乘兴 ,  叶志浩 ,  管聪 ,  吴银霞

IPC: G05D1/10

Abstract: 本发明公开一种基于虚拟环境模仿重构和强化学习的无人机飞行控制方法，利用在真实飞行环境中采集到的状态转移历史轨迹数据，利用GAIL+BC算法构建基于模仿学习的虚拟环境；在虚拟环境中利用强化学习算法训练无人机飞行策略；将策略迁移到真实环境中。本发明使无人机能够在复杂多变的环境中，实现有效，稳定的自主飞行控制；通过利用历史交互数据构建虚拟环境，并让强化学习Agent在虚拟环境中训练的方式，避免了强化学习的高试错成本弊端，同时不再依赖专家知识和人力，并提高了模型对特殊环境状态的适应能力。通过GAIL算法和BC算法两种算法的结合，避免了基于纯模仿学习算法的收敛性问题，也避免了纯BC算法的模型偏移问题，解决了传统的虚拟环境重构算法的应用难题。

公开(公告)号：CN113467515A

公开(公告)日：2021-10-01

申请号：CN202110828301.3

申请日：2021-07-22

Applicant: 南京大学

Inventor： 俞扬 ,  詹德川 ,  黎铭 ,  周志华 ,  张逸风 ,  袁雷 ,  靳学坤 ,  贾乘兴 ,  叶志浩 ,  管聪 ,  吴银霞

IPC: G05D1/10

Abstract: 本发明公开一种基于虚拟环境模仿重构和强化学习的无人机飞行控制方法，利用在真实飞行环境中采集到的状态转移历史轨迹数据，利用GAIL+BC算法构建基于模仿学习的虚拟环境；在虚拟环境中利用强化学习算法训练无人机飞行策略；将策略迁移到真实环境中。本发明使无人机能够在复杂多变的环境中，实现有效，稳定的自主飞行控制；通过利用历史交互数据构建虚拟环境，并让强化学习Agent在虚拟环境中训练的方式，避免了强化学习的高试错成本弊端，同时不再依赖专家知识和人力，并提高了模型对特殊环境状态的适应能力。通过GAIL算法和BC算法两种算法的结合，避免了基于纯模仿学习算法的收敛性问题，也避免了纯BC算法的模型偏移问题，解决了传统的虚拟环境重构算法的应用难题。