-
公开(公告)号:CN117428780A
公开(公告)日:2024-01-23
申请号:CN202311637183.3
申请日:2023-12-01
Applicant: 南京工业大学
IPC: B25J9/16
Abstract: 本发明公开了一种融合文本指令和运动信息的机器人运动技能学习方法,涉及机器人运动规划领域,该方法包括以下步骤:S1、获取机器人运动过程中的动作序列,合并为数据集后进行预处理,提取动作序列的关键帧,同时获取该任务对应的文本信息;S2、分别提取任务的视觉特征和文本特征;S3、将文本特征与视觉特征融合,通过对文本信息的学习,不断更新优化文本与任务之间的依赖关系,使其通过文本更好的理解任务,对机器人未来动作进行预测;S4、通过对文本信息的学习,进一步了解文本信息与动作之间的依赖关系。本发明通过将文本信息与视觉信息结合,通过文本信息与机器人过去的多视角视觉信息和先前的动作信息预测下一步的动作。