一种基于注视目标的人物意图检测方法、装置及电子设备

    公开(公告)号:CN114356078B

    公开(公告)日:2024-03-19

    申请号:CN202111539274.4

    申请日:2021-12-15

    Abstract: 本发明涉及人工智能机器人行为交互领域,具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备,该方法包括:利用机器人上的深度摄像头获取到彩色图像和深度图,通过注视目标估计方法在彩色图像中估计出人物的注视目标点,通过目标检测方法在彩色图像中检测出通用目标的包围框,将人物的注视目标点与通用目标相关联,得到彩色图像中的注视目标物体;利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云,彩色图像中的注视目标物体映射到注视目标点云上;在语义地图上查询注视目标点云的位置上的语义信息,作为人物意图。本发明进一步提升机器人在人机交互的能力,更好地为人类进行服务。

    一种面向机器人的行人定位方法、装置、电子设备及介质

    公开(公告)号:CN112561997A

    公开(公告)日:2021-03-26

    申请号:CN202011458019.2

    申请日:2020-12-10

    Abstract: 本申请公开了一种面向机器人的行人定位方法、装置、电子设备及介质,该方法包括:获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧,所述彩色图像和激光雷达数据应做好时间同步;在所述彩色图像上进行行人检测和人脸检测,得到行人检测矩形框和人脸检测矩形框;根据所述人脸检测矩形框,计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程;根据所述的人脸中心所在的射线方程,结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参,计算得到人脸中心在所述激光雷达坐标系下的三维坐标。以解决相关技术中存在的定位计算量大、精度低的问题。

    一种面向机器人的行人定位方法、装置、电子设备及介质

    公开(公告)号:CN112561997B

    公开(公告)日:2022-07-26

    申请号:CN202011458019.2

    申请日:2020-12-10

    Abstract: 本申请公开了一种面向机器人的行人定位方法、装置、电子设备及介质,该方法包括:获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧,所述彩色图像和激光雷达数据应做好时间同步;在所述彩色图像上进行行人检测和人脸检测,得到行人检测矩形框和人脸检测矩形框;根据所述人脸检测矩形框,计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程;根据所述的人脸中心所在的射线方程,结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参,计算得到人脸中心在所述激光雷达坐标系下的三维坐标。以解决相关技术中存在的定位计算量大、精度低的问题。

    一种基于注视目标的人物意图检测方法、装置及电子设备

    公开(公告)号:CN114356078A

    公开(公告)日:2022-04-15

    申请号:CN202111539274.4

    申请日:2021-12-15

    Abstract: 本发明涉及人工智能机器人行为交互领域,具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备,该方法包括:利用机器人上的深度摄像头获取到彩色图像和深度图,通过注视目标估计方法在彩色图像中估计出人物的注视目标点,通过目标检测方法在彩色图像中检测出通用目标的包围框,将人物的注视目标点与通用目标相关联,得到彩色图像中的注视目标物体;利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云,彩色图像中的注视目标物体映射到注视目标点云上;在语义地图上查询注视目标点云的位置上的语义信息,作为人物意图。本发明进一步提升机器人在人机交互的能力,更好地为人类进行服务。

    一种面向机器人的基于场景图的视觉场景理解系统及方法

    公开(公告)号:CN114170506A

    公开(公告)日:2022-03-11

    申请号:CN202111451521.5

    申请日:2021-12-01

    Abstract: 本发明公开了一种面向机器人的基于场景图的视觉场景理解系统及方法,系统包括:彩色图片获取与调用模块、场景图关系识别模块、人群关系预测模块;方法包括:通过彩色图片获取与调用模块获取应用场景中的实时的图像;对象分类模块根据对象的特征计算出对象所属的类别,场景图关系识别模块将所有对象与关系进行关联组合,生成场景图;通过关系分类模块计算出两两对象之间的合理关系类别;人群划分模块依据整个场景中的人物以及人物之间的关系类别,进行合理的人群划分;根据人群划分的结果与人物之间的关系类别,VIP预测模块对人群中的每个人进行相关的关系融合,并根据融合结果判断每个人在人群中的重要程度,最终得出该人群中的VIP。

    一种基于双模态特征融合网络的人体重识别方法及装置

    公开(公告)号:CN114387612A

    公开(公告)日:2022-04-22

    申请号:CN202111407271.5

    申请日:2021-11-24

    Abstract: 本发明公开了一种基于双模态特征融合网络的人体重识别方法及装置,该方法包括:获取待识别人体的彩色图像及对应的其他模态图像;将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络,提取所述待识别人体的特征;将所述待识别人体的特征与人体图像库的特征进行对比,得到所述待识别人体的识别结果。本发明针对人体重识别问题,将待识别人体的彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络,进行特征提取,提取到的特征信息量相对于根据单一模态图像提取的特征更加丰富,从而使得所进行的人体重识别的准确度相较于根据单一模态图像进行的人体重识别也更高。

    一种基于人脸和头肩信息的行人跟踪的方法

    公开(公告)号:CN113989333A

    公开(公告)日:2022-01-28

    申请号:CN202111457064.0

    申请日:2021-11-29

    Abstract: 本发明涉及行人跟踪领域,尤其涉及一种基于人脸和头肩信息的行人跟踪的方法,包括:步骤一,获取机器人上摄像头的图像,对图像中人进行头肩检测,提取头肩检测框,并且提取头肩特征;步骤二,利用步骤一中的头肩检测框,裁剪出头肩图像,进行人脸检测,得到人脸检测框,再提取人脸特征;步骤三,利用步骤一和步骤二中获取的当前帧的行人的信息,将当前帧行人与历史中行人进行关联;步骤四,利用步骤三中的关联结果,更新历史中行人的信息。本发明相对于其它单一特征的在线行人跟踪方法,本发明能够降低丢失目标风险,提高了丢失找回能力,降低身份跳变率。

Patent Agency Ranking