公开(公告)号：CN114888801A

公开(公告)日：2022-08-12

申请号：CN202210525911.0

申请日：2022-05-16

Applicant: 南京邮电大学

Inventor： 徐国政 ,  李茂捷 ,  刘元归 ,  高翔 ,  王强 ,  陈盛

IPC: B25J9/16

Abstract: 本发明公开了机械手控制领域的一种基于离线策略强化学习的机械臂控制方法及系统，包括：将状态信息s输入至上位机系统，通过抓取模型形成轨迹控制指令控制机械臂抓取所述目标体；所述抓取模型构建过程包括：构建抓取任务训练集；仿真环境中通过抓取任务训练集对抓取模型进行训练，得到仿真抓取任务元训练模型；在真实环境中对仿真抓取任务元训练模型进行少量训练；利用仿真训练过程中的仿真数据Dmeta再次对仿真抓取任务元训练模型进行仿真训练，获得收敛的抓取模型；本发明提高了抓取模型的泛化性和迁移过程的样本效率，缩短了模型迁移时间，同时降低了机械臂在现实中训练的风险。

公开(公告)号：CN114536333B

公开(公告)日：2023-10-31

申请号：CN202210150175.5

申请日：2022-02-18

Applicant: 南京邮电大学

Inventor： 刘元归 ,  徐国政 ,  高翔 ,  王强 ,  谭彩铭

IPC: B25J9/16

Abstract: 本发明公开了一种基于行为树的机械臂任务规划系统及应用方法，包括：轨迹分割模块、目标位姿检测模块、行为树设计模块、动态运动基元泛化模块、上位机系统和Kinova Jaco机械臂。一方面使用遥操作控制Kinova Jaco机械臂进行多次抓取任务演示，上位机系统将收集到的演示数据经轨迹分割模块得到动作基元，构建动作基元库；另一方面，根据抓取任务执行逻辑，经行为树设计模块创建抓取任务行为树；Kinect传感器捕获物体深度图像经目标位姿检测模块估计出物体位置和姿态后，结合动作基元库中对应动作基元，再由动态运动基元泛化模块进行泛化，将泛化得到的动作基元作为行为树动作节点，行为树将执行指令传送至上位机系统，控制Kinova Jaco机械臂执行抓取任务。

公开(公告)号：CN114888801B

公开(公告)日：2023-10-13

申请号：CN202210525911.0

申请日：2022-05-16

Applicant: 南京邮电大学

Inventor： 徐国政 ,  李茂捷 ,  刘元归 ,  高翔 ,  王强 ,  陈盛

IPC: B25J9/16

Abstract: 本发明公开了机械手控制领域的一种基于离线策略强化学习的机械臂控制方法及系统，包括：将状态信息s输入至上位机系统，通过抓取模型形成轨迹控制指令控制机械臂抓取所述目标体；所述抓取模型构建过程包括：构建抓取任务训练集；仿真环境中通过抓取任务训练集对抓取模型进行训练，得到仿真抓取任务元训练模型；在真实环境中对仿真抓取任务元训练模型进行少量训练；利用仿真训练过程中的仿真数据Dmeta再次对仿真抓取任务元训练模型进行仿真训练，获得收敛的抓取模型；本发明提高了抓取模型的泛化性和迁移过程的样本效率，缩短了模型迁移时间，同时降低了机械臂在现实中训练的风险。

公开(公告)号：CN117733841A

公开(公告)日：2024-03-22

申请号：CN202311665423.0

申请日：2023-12-06

Applicant: 南京邮电大学

Inventor： 高翔 ,  马陈昊 ,  徐国政 ,  王强 ,  刘元归 ,  陈盛

IPC: B25J9/16

Abstract: 本发明公开了一种基于生成对抗模仿学习的机械臂复杂操作技能学习方法及系统，方法包括：获取复杂任务数据，将复杂任务的轨迹分割为多个子任务轨迹；针对每个子任务轨迹，确定每个子任务的强化学习RL参数，获取对应子任务的专家策略，形成子任务专家策略集合；基于所述子任务专家策略集合，使用生成对抗模仿学习GAIL算法进行预训练，得到子任务策略集合；其中所述子任务策略集合包括子任务专家策略和子任务生成策略以及对应的奖励函数；基于子任务策略集合，通过领域随机化的方法，使用SAC算法进行正式训练，得到子任务的最优策略集合。通过GAIL预训练使底层子任务不再从零开始学习，只需要有限的样本数量就可以引导策略学习。

公开(公告)号：CN114536333A

公开(公告)日：2022-05-27

申请号：CN202210150175.5

申请日：2022-02-18

Applicant: 南京邮电大学

Inventor： 刘元归 ,  徐国政 ,  高翔 ,  王强 ,  谭彩铭

IPC: B25J9/16

Abstract: 本发明公开了一种基于行为树的机械臂任务规划系统及应用方法，包括：轨迹分割模块、目标位姿检测模块、行为树设计模块、动态运动基元泛化模块、上位机系统和Kinova Jaco机械臂。一方面使用遥操作控制Kinova Jaco机械臂进行多次抓取任务演示，上位机系统将收集到的演示数据经轨迹分割模块得到动作基元，构建动作基元库；另一方面，根据抓取任务执行逻辑，经行为树设计模块创建抓取任务行为树；Kinect传感器捕获物体深度图像经目标位姿检测模块估计出物体位置和姿态后，结合动作基元库中对应动作基元，再由动态运动基元泛化模块进行泛化，将泛化得到的动作基元作为行为树动作节点，行为树将执行指令传送至上位机系统，控制Kinova Jaco机械臂执行抓取任务。

公开(公告)号：CN116079737A

公开(公告)日：2023-05-09

申请号：CN202310153474.9

申请日：2023-02-23

Applicant: 南京邮电大学

Inventor： 王强 ,  马陈昊 ,  徐国政 ,  刘元归 ,  高翔

IPC: B25J9/16

Abstract: 本发明公开了一种基于分层强化学习的机械臂复杂操作技能学习方法及系统，方法包括：获取复杂任务数据，将复杂任务分解为多个子任务；确定每个子任务的RL参数；根据每个子任务的RL参数，构建底层训练网络结构，训练每个子任务，得到子任务最优策略集合；当有新的复杂任务执行时，根据所有子任务的RL参数确定新任务的RL参数；根据新任务的RL参数和子任务最优策略集合，构建上层训练网络结构，训练得到子任务选择策略；根据子任务选择策略，通过子任务重构得到新任务的最优策略，实现新任务的再现与泛化。