基于触觉与视觉结合的多模态物体抓取方法与系统
摘要:
本申请实施例公开一种基于触觉与视觉结合的多模态物体抓取方法与系统。所述方法包括:对相机进行标定;对从所述相机获取的图像进行背景干扰因素的滤除;对所述图像进行预处理得到抓取候选区域集合,从所述抓取候选区域集合中选择N个得分最高的抓取候选区域作为机械手可行抓取区域;控制机械手随机选择一个所述机械手可行抓取区域,以一定的力闭合,并停留M个时间周期对目标物体进行触觉数据采集;将采集到的触觉数据与A2中得到的图像数据融合输入进卷积神经网络中,判定抓取是否可行;发出抓取指令,以控制机械臂和机械手完成抓取所述目标物体的动作。所述系统用于执行所述方法。本申请实施例可提高一次性抓取成功率。
0/0