一种基于物体3D位姿视觉跟踪的增强现实方法及装置

    公开(公告)号:CN114092526A

    公开(公告)日:2022-02-25

    申请号:CN202210073191.9

    申请日:2022-01-21

    申请人: 之江实验室

    摘要: 本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数,并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量;根据位姿变换增量,更新目标物体在第一相机视角下的位姿,得到第一位姿;将位姿变换增量发送至第二处理单元,以使得第二处理单元根据位姿变换增量,更新目标物体在第二相机视角下的位姿,得到第二位姿;将第一位姿发送至显示设备,以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿,其中第四位姿为第一相机在世界坐标系下的位姿。

    一种位姿的确定方法、装置、设备及存储介质

    公开(公告)号:CN116309823A

    公开(公告)日:2023-06-23

    申请号:CN202310090212.2

    申请日:2023-01-17

    IPC分类号: G06T7/73 G06T7/246 G06T7/13

    摘要: 本说明书公开了一种位姿的确定方法、装置、设备及存储介质,可以通过补偿模型根据相机采集到的二维图像中包含有目标物的指定区域图像的图像信息,确定出目标物的轮廓特征,以及根据包含有目标物的指定区域图像在整个二维图像中的图像位置信息,确定目标物的二维位置特征,从而可以根据确定出的目标物的轮廓特征、二维位置特征以及通过预设的跟踪算法确定出的目标物的初始位姿,预测出通过预设的跟踪算法确定出的初始位姿与在采集二维图像时目标物的实际位姿之间的位姿偏差,进而可以根据预测出的位姿偏差对通过预设的跟踪算法确定出的目标物的初始位姿进行补偿,以提升通过三维跟踪算法估算出的二维图像中物体对应的位姿的准确性。

    一种基于物体3D位姿视觉跟踪的增强现实方法及装置

    公开(公告)号:CN114092526B

    公开(公告)日:2022-06-28

    申请号:CN202210073191.9

    申请日:2022-01-21

    申请人: 之江实验室

    摘要: 本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数,并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量;根据位姿变换增量,更新目标物体在第一相机视角下的位姿,得到第一位姿;将位姿变换增量发送至第二处理单元,以使得第二处理单元根据位姿变换增量,更新目标物体在第二相机视角下的位姿,得到第二位姿;将第一位姿发送至显示设备,以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿,其中第四位姿为第一相机在世界坐标系下的位姿。

    一种基于多目相机的无纹理三维物体跟踪方法及装置

    公开(公告)号:CN114092561A

    公开(公告)日:2022-02-25

    申请号:CN202210076234.9

    申请日:2022-01-24

    申请人: 之江实验室

    IPC分类号: G06T7/73 G06T7/80

    摘要: 本发明公开了一种基于多目相机的无纹理三维物体跟踪方法及装置,该方法包括:获取第一位姿,其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿;将所述第一位姿转换到物体中心坐标系下,得到第二位姿;建立所述物体中心坐标系下的相机投影模型;根据所述第二位姿和相机投影模型,建立物体中心坐标系下的联合能量函数;将所述联合能量函数最小化,得到所述物体中心坐标系下的位姿变换增量;将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新,从而实现物体跟踪。本发明采用多目跟踪的方法,将各个相机的图像信息与坐标系信息建立在同一框架下,得到更加准确的跟踪结果。