公开(公告)号：CN115565243A

公开(公告)日：2023-01-03

申请号：CN202211167429.0

申请日：2022-09-23

Applicant: 哈尔滨工业大学(深圳)

Inventor： 闫恒源 ,  胡浩鹏 ,  杨先声 ,  楼云江

IPC: G06V40/20 ,  G06V40/70 ,  G06V10/26 ,  G06V20/40 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  B25J9/16

Abstract: 本发明涉及应用于机器人装配技能学习的多模态演示方法及系统，应用于机器人装配运动规划，其中的方法包括：通过多模态数据采集装置采集目标物体及人手的装配轨迹和装配视频，并关联装配轨迹和装配视频，基于装配动作单元库，根据装配视频和装配轨迹，通过多模态融合的连续动作识别分割模型对目标物体的装配操作进行识别分割，以获得一系列连续的单个动作元，基于运动规划策略库，根据每个单个动作元所属类型，获得其对应的运动规划策略，以生成目标物体的整个装配操作的机器人装配运动规划。本发明通过融合装配视频和装配轨迹，进行单个动作元识别及对连续装配动作进行语义分割，可提高机器人装配成功率和效率。

公开(公告)号：CN115494804B

公开(公告)日：2025-04-25

申请号：CN202211170910.5

申请日：2022-09-23

Applicant: 哈尔滨工业大学(深圳)

Inventor： 胡浩鹏 ,  闫恒源 ,  杨先声 ,  楼云江

IPC: G05B19/418

Abstract: 本发明涉及基于机器人装配学习的多模态数据采集方法、系统及装置，应用于机器人装配运动规划，其中的方法包括：通过多模态数据采集装置采集目标物体及人手的装配轨迹和装配视频，并关联装配轨迹和装配视频，基于装配动作单元库，根据装配视频和装配轨迹，通过多模态融合的连续动作识别分割模型对目标物体的装配操作进行识别分割，以获得一系列连续的单个动作元，基于运动规划策略库，根据每个单个动作元所属类型，获得其对应的运动规划策略，以生成目标物体的整个装配操作的机器人装配运动规划。本发明通过融合装配视频和装配轨迹，进行单个动作元识别及对连续装配动作进行语义分割，可提高机器人装配成功率和效率。

公开(公告)号：CN115494804A

公开(公告)日：2022-12-20

申请号：CN202211170910.5

申请日：2022-09-23

Applicant: 哈尔滨工业大学(深圳)

Inventor： 胡浩鹏 ,  闫恒源 ,  杨先声 ,  楼云江

IPC: G05B19/418

Abstract: 本发明涉及基于机器人装配学习的多模态数据采集方法、系统及装置，应用于机器人装配运动规划，其中的方法包括：通过多模态数据采集装置采集目标物体及人手的装配轨迹和装配视频，并关联装配轨迹和装配视频，基于装配动作单元库，根据装配视频和装配轨迹，通过多模态融合的连续动作识别分割模型对目标物体的装配操作进行识别分割，以获得一系列连续的单个动作元，基于运动规划策略库，根据每个单个动作元所属类型，获得其对应的运动规划策略，以生成目标物体的整个装配操作的机器人装配运动规划。本发明通过融合装配视频和装配轨迹，进行单个动作元识别及对连续装配动作进行语义分割，可提高机器人装配成功率和效率。