公开(公告)号：CN116012445A

公开(公告)日：2023-04-25

申请号：CN202211572616.7

申请日：2022-12-08

Applicant: 之江实验室

Inventor： 朱世强 ,  寄珊珊 ,  王文 ,  宛敏红 ,  张春龙 ,  李特 ,  林哲远 ,  黄敏

IPC: G06T7/73 ,  G06T7/246 ,  G06T7/80 ,  H04L67/568

Abstract: 一种基于深度相机的导览机器人感知行人三维空间信息的方法，包括：1)机器人端获取深度相机的RGB图片及Depth图片，进行预处理后传输到云端服务器；2)根据云端部署的多目标跟踪方法及二维人体关键点检测网络获取每一个跟踪到的行人的二维关键点坐标，结合Depth图片与RGB图片的映射关系获取行人的三维关键点坐标；3)根据深度相机与激光雷达联合标定的坐标转换矩阵获取机器人坐标系下的行人三维关键点坐标并输出行人三维空间信息；4)机器人根据获取到的行人三维空间信息进行本体控制，完成自主唤醒等智能导览任务；采用基于视觉感知方法提升导览机器人的自然交互体验。本发明能用于展厅等公共场景下导览机器人对行人的三维空间信息的智能感知。

公开(公告)号：CN115810209A

公开(公告)日：2023-03-17

申请号：CN202211491204.0

申请日：2022-11-25

Applicant: 之江实验室

Inventor： 黄敏 ,  朱世强 ,  张春龙 ,  宛敏红 ,  李特 ,  王文 ,  寄珊珊 ,  林哲远

IPC: G06V40/16 ,  G06V10/80

Abstract: 一种基于多模态特征融合的说话人识别方法，包括：获取包含图像序列等多模态序列信息；获取人脸图像序列信息；获取人脸图像序列对应的其他模态信息序列；建立多模态特征融合网络，将所述人脸多模态序列信息作为训练集，训练所述多模态特征融合网络；将待识别人脸多模态序列信息输入所述多模态特征融合网络，得到当前人说话状态。本发明还包括一种基于多模态特征融合的说话人识别装置。本发明能够融合不同模态的特征，丰富所提取特征的信息量，提升说话人识别准确度。

公开(公告)号：CN115376187A

公开(公告)日：2022-11-22

申请号：CN202210966740.5

申请日：2022-08-12

Applicant: 之江实验室

Inventor： 林哲远 ,  宛敏红 ,  朱世强 ,  黄敏 ,  李想 ,  王文

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/08 ,  G06V10/80 ,  G10L17/06 ,  H04N5/92

Abstract: 本发明属于计算机技术领域，公开了一种多人机交互场景下说话对象检测装置及方法，包括音频视频采集模块、文本生成模块、人脸检测跟踪模块、说话人特征提取检测模块、说话对象特征提取检测模块；本发明实时地采集带时间戳的彩色图像和带时间戳的音频信息；实时地通过音频帧数据进行语音识别，生成带有词语级、句子级、对话主题级等不同层级的时间戳的文本信息，并在连续的图像帧中识别跟踪同一个人物；通过人脸序列数据信息与音频帧数据信息识别人群中的说话者；通过检测到的说话人物信息、音频帧数据信息、文本数据信息、场景数据信息，检测说话者的说话对象是否是机器人。提升了机器人的人机交互过程中对交互的理解能力与人机交互体验。

公开(公告)号：CN114819110A

公开(公告)日：2022-07-29

申请号：CN202210717252.0

申请日：2022-06-23

Applicant: 之江实验室

Inventor： 黄敏 ,  林哲远 ,  朱世强 ,  宋伟 ,  王文 ,  金天磊

IPC: G06N3/04 ,  G06V20/40 ,  G06V40/16 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种实时识别视频中说话人的方法及装置，该方法包括：获取同一时刻开始且连续的图像序列和音频序列；根据所述图像序列中最新一帧的图像，检测并跟踪人脸，更新已有的人脸序列信息库；将所述人脸序列信息库中的人脸序列信息和所述音频序列输入训练好的说话人检测网络中，检测说话状态，更新说话状态数据库；根据所述说话状态数据库，获取所有人的当前状态，从而识别视频中的可能的说话人。

公开(公告)号：CN115830633A

公开(公告)日：2023-03-21

申请号：CN202211484307.4

申请日：2022-11-24

Applicant: 之江实验室

Inventor： 朱世强 ,  林哲远 ,  张春龙 ,  宛敏红 ,  李特 ,  王文 ,  黄敏

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类‑检索‑二元分类”联合损失函数；基于数据集训练好多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数；基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。本发明还包括一种基于多任务学习残差神经网络的行人重识别系统。本发明解决了由于非结构环境下，人物遮挡、衣服相似的行人重识别的问题。

公开(公告)号：CN115830633B

公开(公告)日：2023-07-25

申请号：CN202211484307.4

申请日：2022-11-24

Applicant: 之江实验室

Inventor： 朱世强 ,  林哲远 ,  张春龙 ,  宛敏红 ,  李特 ,  王文 ,  黄敏

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类‑检索‑二元分类”联合损失函数；基于数据集训练好多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数；基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。本发明还包括一种基于多任务学习残差神经网络的行人重识别系统。本发明解决了由于非结构环境下，人物遮挡、衣服相似的行人重识别的问题。

公开(公告)号：CN115620356A

公开(公告)日：2023-01-17

申请号：CN202211019716.7

申请日：2022-08-24

Applicant: 之江实验室

Inventor： 李想 ,  顾建军 ,  朱世强 ,  宋伟 ,  吴洪 ,  林哲远 ,  黄敏 ,  汪雯 ,  瑞嘉

IPC: G06V40/16 ,  G06V40/20 ,  G06V20/40 ,  G06V10/82 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L15/22 ,  G10L25/03 ,  G10L25/24

Abstract: 本发明属于视听处理、机器学习技术领域，公开了一种基于音频和面部输入的受话方检测框架和方法，前端包括音频流编码器和视频流编码器；后端包括交叉注意力模块；双线性融合模块以及自注意力模块；本发明框架输入可变长度的音频和面部区域信息，并通过联合分析音频和面部特征，预测每帧中的受话方。它使用在人对人和人对机器人混合设置中记录的数据集。因此，所述框架可应用并适用于机器人，以区分机器人是否为受话方。使得机器人具有智能视听感知能力，提高了机器人智能化程度。

公开(公告)号：CN114819110B

公开(公告)日：2022-10-21

申请号：CN202210717252.0

申请日：2022-06-23

Applicant: 之江实验室

Inventor： 黄敏 ,  林哲远 ,  朱世强 ,  宋伟 ,  王文 ,  金天磊

IPC: G06N3/04 ,  G06V20/40 ,  G06V40/16 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种实时识别视频中说话人的方法及装置，该方法包括：获取同一时刻开始且连续的图像序列和音频序列；根据所述图像序列中最新一帧的图像，检测并跟踪人脸，更新已有的人脸序列信息库；将所述人脸序列信息库中的人脸序列信息和所述音频序列输入训练好的说话人检测网络中，检测说话状态，更新说话状态数据库；根据所述说话状态数据库，获取所有人的当前状态，从而识别视频中的可能的说话人。