基于图神经网络的机器人自主工具构建方法、系统及相关设备

    公开(公告)号:CN111906781A

    公开(公告)日:2020-11-10

    申请号:CN202010652687.2

    申请日:2020-07-08

    Abstract: 本发明公开了一种基于图神经网络的机器人自主工具构建方法、系统及相关设备。该方法在仿真环境下生成训练数据,以包含目标工具的深度图以及包含多个候选零件的深度图为输入,先使用深度网络进行候选零件的选择,连接点以及构建姿态的回归。使用图神经网络对各个零件对进行连结,最后综合选出最优的候选零件以用于构建目标工具。本方法使用的仿真环境下的数据生成方法有效减小了数据采集的人工量,扩大了数据集的体量。本发明可以帮助机器人在纯视觉输入的场景中有效完成自动工具构建任务,并且增加了机器人对场景整体性的考虑,对于共融机器人项目的发展有重要意义。

    一种基于视觉推理的机器人作业方法

    公开(公告)号:CN109159113B

    公开(公告)日:2020-11-10

    申请号:CN201810924992.5

    申请日:2018-08-14

    Abstract: 本发明公开了一种基于视觉推理的机器人作业方法,包括:通过传感器获取当前包含多个目标物体的场景图像;使用基于深度卷积网络的视觉操作关系网络,完成对场景中物体的检测过程,并获取正确的物体操作关系;使用基于有向锚点框的全卷积抓取检测网络,完成对场景中潜在的抓取部位的检测过程;以感知结果为基础,通过中心点匹配算法匹配物体和抓取部位,通过坐标系变换得到机器人坐标系中的抓取向量,完成当前场景作业执行的过程。利用有向锚点框改善了抓取部位检测算法中预设抓取框对多角度抓取部位的适应能力,提升了抓取部位检测的精度。本发明可以使机器人在纯视觉输入的情况下完成对多目标物体的作业任务。

    一种基于三维视觉的智能机器人抓取方法

    公开(公告)号:CN111906782B

    公开(公告)日:2021-07-13

    申请号:CN202010652696.1

    申请日:2020-07-08

    Abstract: 本发明公开了一种基于三维视觉的智能机器人抓取方法,以包含目标物体的观测点云为输入,使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度,获得适合作为抓取部位中心的点。以抓取区域的特征为输入,使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测。以抓取闭合区域和抓取区域特征融合后的特征为输入,使用抓取部位优化网络优化检测出的抓取部位。选取具有最高抓取质量指标的抓取部位,通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态,以此规划机器人的夹具姿态。本发明使机器人在非结构化环境下准确地抓取不同种类的物体,以提高智能机器人作业和与外界交互的安全性与可靠性。

    基于图神经网络的机器人自主工具构建方法、系统及相关设备

    公开(公告)号:CN111906781B

    公开(公告)日:2021-07-13

    申请号:CN202010652687.2

    申请日:2020-07-08

    Abstract: 本发明公开了一种基于图神经网络的机器人自主工具构建方法、系统及相关设备。该方法在仿真环境下生成训练数据,以包含目标工具的深度图以及包含多个候选零件的深度图为输入,先使用深度网络进行候选零件的选择,连接点以及构建姿态的回归。使用图神经网络对各个零件对进行连结,最后综合选出最优的候选零件以用于构建目标工具。本方法使用的仿真环境下的数据生成方法有效减小了数据采集的人工量,扩大了数据集的体量。本发明可以帮助机器人在纯视觉输入的场景中有效完成自动工具构建任务,并且增加了机器人对场景整体性的考虑,对于共融机器人项目的发展有重要意义。

    基于事后经验的信赖域策略优化方法、装置及相关设备

    公开(公告)号:CN112101563A

    公开(公告)日:2020-12-18

    申请号:CN202010713458.7

    申请日:2020-07-22

    Abstract: 本发明公开了一种基于事后经验的信赖域策略优化方法、装置及相关设备,方法包括:S100,将经验数据中已到达的目标点作为虚拟目标点,生成虚拟的事后经验数据;S200,基于事后目标滤波算法,完成对虚拟目标的过滤,获取所对应的训练数据;S300,基于虚拟经验数据,通过加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差;S400,基于加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差,以此估计策略间KL散度值;S500,通过KL散度修正策略梯度方向,并通过最大KL散度步长计算更新策略步长。该方法以使智能体能够基于少量的交互数据和简单设计的奖励函数,能够对环境和任务完成有效的探索过程,并对行为策略进行高效的学习和更新。

    一种基于三维视觉的智能机器人抓取方法

    公开(公告)号:CN111906782A

    公开(公告)日:2020-11-10

    申请号:CN202010652696.1

    申请日:2020-07-08

    Abstract: 本发明公开了一种基于三维视觉的智能机器人抓取方法,以包含目标物体的观测点云为输入,使用深度卷积网络的点抓取置信度评估网络评估观测点云中每个点的抓取置信度,获得适合作为抓取部位中心的点。以抓取区域的特征为输入,使用基于抓取锚点机制的区域抓取部位检测网络进行物体抓取部位检测。以抓取闭合区域和抓取区域特征融合后的特征为输入,使用抓取部位优化网络优化检测出的抓取部位。选取具有最高抓取质量指标的抓取部位,通过坐标系变换得到此抓取部位在机器人坐标系中的位置与姿态,以此规划机器人的夹具姿态。本发明使机器人在非结构化环境下准确地抓取不同种类的物体,以提高智能机器人作业和与外界交互的安全性与可靠性。

    一种基于端对端网络的机器人视觉推理抓取方法

    公开(公告)号:CN109919151A

    公开(公告)日:2019-06-21

    申请号:CN201910093952.5

    申请日:2019-01-30

    Abstract: 本发明公开了一种基于端对端卷积神经网络的机器人视觉推理抓取方法。通过以RGB图片为输入,以一次卷积网络的前向传播,同时完成物体检测、操作关系推理和抓取部位检测。通过提取物体的感兴趣区域,完成对每个物体上的抓取部位进行检测。通过视觉操作关系推理,获取场景的视觉操作关系树,对正确的抓取顺序进行决策。本发明与之前的发明相比,速度更快,准确率和鲁棒性更高。通过使用深度学习和深度特征对场景进行理解,提升了方法的有效性和可靠性。

    一种基于视觉推理的机器人作业方法

    公开(公告)号:CN109159113A

    公开(公告)日:2019-01-08

    申请号:CN201810924992.5

    申请日:2018-08-14

    Abstract: 本发明公开了一种基于视觉推理的机器人作业方法,包括:通过传感器获取当前包含多个目标物体的场景图像;使用基于深度卷积网络的视觉操作关系网络,完成对场景中物体的检测过程,并获取正确的物体操作关系;使用基于有向锚点框的全卷积抓取检测网络,完成对场景中潜在的抓取部位的检测过程;以感知结果为基础,通过中心点匹配算法匹配物体和抓取部位,通过坐标系变换得到机器人坐标系中的抓取向量,完成当前场景作业执行的过程。利用有向锚点框改善了抓取部位检测算法中预设抓取框对多角度抓取部位的适应能力,提升了抓取部位检测的精度。本发明可以使机器人在纯视觉输入的情况下完成对多目标物体的作业任务。

Patent Agency Ranking