公开(公告)号：CN118418118A

公开(公告)日：2024-08-02

申请号：CN202410501955.9

申请日：2024-04-24

Applicant: 广州大学

Inventor： 陈首彦 ,  余灼 ,  钟文杰 ,  赵志甲 ,  陈永熙 ,  林灵 ,  温江平 ,  陈晓群

IPC: B25J9/16 ,  G06V20/40 ,  G06V10/82 ,  G06N3/0442 ,  G06V40/20

Abstract: 本申请涉及计算机视觉技术领域，本申请提供一种基于视频识别的机器人动作生成方法，具体包括：S10：提取视频的人体空间位姿信息和物品空间位姿信息；S20：提取视频的人体时序信息和物品时序信息；S30：基于自我注意力机制和全局注意力机制，完成视频帧序列和指令序列的变换；S40：建立评价函数并对人体动作意图进行识别；S50：基于人体动作意图识别结果生成机器人动作。本申请通过基于视频骨骼点识别的机器人动作生成，能更方便的对机器人动作生成进行训练和泛化。