公开(公告)号：CN118305783B

公开(公告)日：2024-09-06

申请号：CN202410330081.5

申请日：2024-03-21

Applicant: 北京工业大学

Inventor： 左国玉 ,  赵敏 ,  于双悦 ,  周纪勇 ,  沈志辉

IPC: B25J9/16

Abstract: 本发明公开了一种语言导向的机器人类别级推抓协同方法，属于机器人技术领域，包括以下步骤：步骤一、使用状态差分具身自我监督方法收集数据和标签，生成数据集；步骤二、使用收集的数据集和语言文本指令训练语言引导的具身多模态物体认知网络；步骤三、在模拟环境中训练推抓协同决策网络；步骤四、把训练好的语言引导的具身多模态物体认知网络和推抓协同决策网络遵循认知‑决策框架共同构成语言导向的类别级推抓协同网络，将其部署到现实世界的机器人系统上；步骤五、使用相机采集工作空间RGB‑D图像并和语言指令送入语言导向的类别级推抓协同网络中做出决策；步骤六、机器人执行决策；步骤七、重复步骤五、步骤六直至抓取任务完成。

公开(公告)号：CN118305783A

公开(公告)日：2024-07-09

申请号：CN202410330081.5

申请日：2024-03-21

Applicant: 北京工业大学

Inventor： 左国玉 ,  赵敏 ,  于双悦 ,  周纪勇 ,  沈志辉

IPC: B25J9/16

Abstract: 本发明公开了一种语言导向的机器人类别级推抓协同方法，属于机器人技术领域，包括以下步骤：步骤一、使用状态差分具身自我监督方法收集数据和标签，生成数据集；步骤二、使用收集的数据集和语言文本指令训练语言引导的具身多模态物体认知网络；步骤三、在模拟环境中训练推抓协同决策网络；步骤四、把训练好的语言引导的具身多模态物体认知网络和推抓协同决策网络遵循认知‑决策框架共同构成语言导向的类别级推抓协同网络，将其部署到现实世界的机器人系统上；步骤五、使用相机采集工作空间RGB‑D图像并和语言指令送入语言导向的类别级推抓协同网络中做出决策；步骤六、机器人执行决策；步骤七、重复步骤五、步骤六直至抓取任务完成。