-
公开(公告)号:CN112558641B
公开(公告)日:2024-05-28
申请号:CN202011445509.9
申请日:2020-12-08
Applicant: 之江实验室
IPC: G05D1/43 , G05D1/243 , G05D1/644 , G05D109/10
Abstract: 本发明公开了一种基于计算人物意图控制机器人找回丢失人物的方法,该方法通过获取周边人物视觉定位信息与人物状态信息,建立人物轨迹计算,从而评定人物的意图,并结合声场实现人物丢失、远离后控制机器人运动找回该人物。其中所述的人物意图是一种状态,表示人物最近时间的行为动作,包含人物位置、状态、运动向量等。本发明基于视觉计算人物意图,使得原本使用视觉信息控制机器人找回目标人物的过程变得更加精确,并且能够在视觉失效的情况下也能尝试找回丢失人物。
-
公开(公告)号:CN112611384A
公开(公告)日:2021-04-06
申请号:CN202011409790.0
申请日:2020-12-03
Applicant: 之江实验室
IPC: G01C21/20
Abstract: 本申请公开了一种在NLOS场景下UWB与激光融合的机器人定位方法及装置。该方法在复杂室内环境下的UWB定位系统中,针对NLOS导致UWB定位不准确的情况。根据地图和基站位置等先验信息,通过上一时刻定位结果,选择出得到没有遮挡的基站数据进行定位计算,之后与激光进行EKF数据融合定位。相对于其他滤波或补偿的方法,本方法计算简单也更为精确,并具有更高的时效性及应用普适性。
-
公开(公告)号:CN112289239B
公开(公告)日:2021-03-30
申请号:CN202011582434.9
申请日:2020-12-28
Applicant: 之江实验室
Abstract: 本发明公开了一种可动态调整的讲解方法、装置及电子设备,包括:将讲解词转换成讲解文本图;获取观众的视频和音频,识别观众的行为和参与度;依据观众的行为动态控制讲解文本图的执行过程;依据观众的参与度动态调整讲解文本图的执行路径。本发明提升了使用电子设备进行自动讲解时的灵活性,实现依据讲解过程中观众的行为和参与度对讲解过程和内容进行动态的调整。
-
公开(公告)号:CN112289239A
公开(公告)日:2021-01-29
申请号:CN202011582434.9
申请日:2020-12-28
Applicant: 之江实验室
Abstract: 本发明公开了一种可动态调整的讲解方法、装置及电子设备,包括:将讲解词转换成讲解文本图;获取观众的视频和音频,识别观众的行为和参与度;依据观众的行为动态控制讲解文本图的执行过程;依据观众的参与度动态调整讲解文本图的执行路径。本发明提升了使用电子设备进行自动讲解时的灵活性,实现依据讲解过程中观众的行为和参与度对讲解过程和内容进行动态的调整。
-
公开(公告)号:CN111739161A
公开(公告)日:2020-10-02
申请号:CN202010717560.4
申请日:2020-07-23
Applicant: 之江实验室
Abstract: 本发明公开了一种有遮挡情况下的人体三维重建方法、装置及电子设备,包括:获取目标人体的单帧RGB-D图像,RGB-D图像包含彩色图像和深度图像;对彩色图像进行实例分割,得到目标人体部分及遮挡物体部分的分割像素掩码,根据分割像素掩码对深度图像进行分割,得到目标人体深度图像和遮挡物体深度图像;将遮挡物体深度图像转换为表面法向图像,再使用卷积神经网络进行遮挡物体姿态估计;基于遮挡物体的姿态估计,对遮挡物体进行三维重建,获得遮挡物体三维模型;根据彩色图像、目标人体深度图像和遮挡物体三维模型进行三维人体重建,获得三维人体模型。本发明通过对遮挡物体的三维重建,提高了有遮挡情形下的单视角人体三维重建的准确性和可靠性。
-
公开(公告)号:CN112936288B
公开(公告)日:2022-09-27
申请号:CN202110295956.9
申请日:2021-03-19
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本发明提供了一种机器人动作安全检测方法和装置、电子设备、存储介质,该方法包括:搭建D‑H模型,确定D‑H参数,基于D‑H模型及D‑H参数计算各关节间的位姿变换矩阵,建立各关节间的关系;动作执行前,获取所要执行动作的关节轨迹,通过各关节间的关系计算动作执行过程中各关节将经过的区域,生成轨迹地图;动作执行前,获取当前时刻二维激光雷达数据一帧,生成障碍地图,并且在动作执行过程中实时根据雷达数据,更新障碍地图;在执行动作前及执行过程中,对比所述轨迹地图与障碍地图,如果一致,可以执行动作,如果不一致,说明所执行动作的路径中存在障碍,机器人立即停止动作。相较于其他安全检测的方法,本方法计算更为精确,并具有更高的时效性。
-
公开(公告)号:CN112734820B
公开(公告)日:2021-08-03
申请号:CN202110331364.8
申请日:2021-03-29
Applicant: 之江实验室
Abstract: 本发明公开了一种注视目标估计的方法和装置、电子设备、神经网络结构,该方法包括:获取场景图像和场景图像中待处理人物的头部位置掩膜,从场景图像和头部位置掩膜提取场景特征和多层中间特征;将场景特征依次进行深度估计及多次上采样后与多层中间特征融合,获得深度辅助特征;根据头部位置掩膜从场景图像中获取头部图像,再从头部图像提取头部特征;根据头部特征计算视线辅助特征,将头部特征与视线辅助特征融合,获得视线特征;将场景特征与视线特征依次进行拼接、解码后与深度辅助特征融合,融合后进行特征转换输出注视目标位置。本发明提升了单目图像中人物的注视目标估计的准确率,适用于提高人机交互系统的意图识别能力。
-
公开(公告)号:CN112873166A
公开(公告)日:2021-06-01
申请号:CN202110096571.X
申请日:2021-01-25
Applicant: 之江实验室
Abstract: 本申请公开了一种生成机器人肢体动作的方法、装置、电子设备及介质,包括:根据真实机器人几何尺寸创建三维动画模型;根据所述真实机器人上的舵机的分布情况,在所述三维动画模型上进行骨骼绑定,并将所述真实机器人舵机的旋转方向和旋转范围映射到所述三维动画模型上骨骼的旋转方向和旋转范围;根据所述三维动画模型上骨骼的旋转方向和旋转范围,设计拟人的肢体动作,并生成带有骨骼参数信息的动画文件;从所述动画文件中读取每个骨骼的运动轨迹,并将所述运动轨迹映射为所述真实机器人的舵机的运动轨迹;根据所述真实机器人的舵机的运动轨迹,控制所述真实机器人做出与所述三维动画模型相同的拟人肢体动作。
-
公开(公告)号:CN112561997A
公开(公告)日:2021-03-26
申请号:CN202011458019.2
申请日:2020-12-10
Applicant: 之江实验室
Abstract: 本申请公开了一种面向机器人的行人定位方法、装置、电子设备及介质,该方法包括:获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧,所述彩色图像和激光雷达数据应做好时间同步;在所述彩色图像上进行行人检测和人脸检测,得到行人检测矩形框和人脸检测矩形框;根据所述人脸检测矩形框,计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程;根据所述的人脸中心所在的射线方程,结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参,计算得到人脸中心在所述激光雷达坐标系下的三维坐标。以解决相关技术中存在的定位计算量大、精度低的问题。
-
公开(公告)号:CN111399662A
公开(公告)日:2020-07-10
申请号:CN202010499752.2
申请日:2020-06-04
Applicant: 之江实验室
Abstract: 本发明公开一种基于高真实感虚拟化身的人与机器人交互仿真装置及方法,该装置包括两套均由多个相机组成的多视角相机系统、虚拟化身预处理模块、深度相机、带摄像头的虚拟现实头显、虚拟化身重建模块和机器人仿真模块。本发明用户通过佩戴虚拟现实头显在虚拟场景中以第一视角观察虚拟机器人,并控制高真实感虚拟化身与虚拟机器人实现非语言交互,为机器人开发提供了有效的通过仿真验证机器人交互能力的方法,缩短了机器人开发的周期。
-
-
-
-
-
-
-
-
-