一种基于视觉感知的运动物体机器人抓取方法及装置

    公开(公告)号:CN114083545B

    公开(公告)日:2022-07-01

    申请号:CN202210076251.2

    申请日:2022-01-24

    Abstract: 本发明公开了一种基于视觉感知的运动物体机器人抓取方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数;根据第一和第二能量函数,计算物体中心坐标系下的综合能量函数;对综合能量函数进行最小化,得到位姿变换增量;根据位姿变换增量,更新在每个相机视角下的物体位姿;将若干次更新后的物体位姿输入物体运动预测模型中,预测未来预定时间内物体的第一位姿;将第一位姿与抓取位姿数据库中的所有第二位姿进行比较,将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿;根据机械臂末端位姿,控制机械臂运动后控制末端执行器进行物体抓取。

    一种基于物体3D位姿视觉跟踪的增强现实方法及装置

    公开(公告)号:CN114092526A

    公开(公告)日:2022-02-25

    申请号:CN202210073191.9

    申请日:2022-01-21

    Abstract: 本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数,并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量;根据位姿变换增量,更新目标物体在第一相机视角下的位姿,得到第一位姿;将位姿变换增量发送至第二处理单元,以使得第二处理单元根据位姿变换增量,更新目标物体在第二相机视角下的位姿,得到第二位姿;将第一位姿发送至显示设备,以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿,其中第四位姿为第一相机在世界坐标系下的位姿。

    一种基于物体3D位姿视觉跟踪的增强现实方法及装置

    公开(公告)号:CN114092526B

    公开(公告)日:2022-06-28

    申请号:CN202210073191.9

    申请日:2022-01-21

    Abstract: 本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数,并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量;根据位姿变换增量,更新目标物体在第一相机视角下的位姿,得到第一位姿;将位姿变换增量发送至第二处理单元,以使得第二处理单元根据位姿变换增量,更新目标物体在第二相机视角下的位姿,得到第二位姿;将第一位姿发送至显示设备,以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿,其中第四位姿为第一相机在世界坐标系下的位姿。

    一种基于多目相机的无纹理三维物体跟踪方法及装置

    公开(公告)号:CN114092561A

    公开(公告)日:2022-02-25

    申请号:CN202210076234.9

    申请日:2022-01-24

    Abstract: 本发明公开了一种基于多目相机的无纹理三维物体跟踪方法及装置,该方法包括:获取第一位姿,其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿;将所述第一位姿转换到物体中心坐标系下,得到第二位姿;建立所述物体中心坐标系下的相机投影模型;根据所述第二位姿和相机投影模型,建立物体中心坐标系下的联合能量函数;将所述联合能量函数最小化,得到所述物体中心坐标系下的位姿变换增量;将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新,从而实现物体跟踪。本发明采用多目跟踪的方法,将各个相机的图像信息与坐标系信息建立在同一框架下,得到更加准确的跟踪结果。

    一种基于视觉感知的运动物体机器人抓取方法及装置

    公开(公告)号:CN114083545A

    公开(公告)日:2022-02-25

    申请号:CN202210076251.2

    申请日:2022-01-24

    Abstract: 本发明公开了一种基于视觉感知的运动物体机器人抓取方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数;根据第一和第二能量函数,计算物体中心坐标系下的综合能量函数;对综合能量函数进行最小化,得到位姿变换增量;根据位姿变换增量,更新在每个相机视角下的物体位姿;将若干次更新后的物体位姿输入物体运动预测模型中,预测未来预定时间内物体的第一位姿;将第一位姿与抓取位姿数据库中的所有第二位姿进行比较,将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿;根据机械臂末端位姿,控制机械臂运动后控制末端执行器进行物体抓取。

Patent Agency Ranking