公开(公告)号：CN116087878A

公开(公告)日：2023-05-09

申请号：CN202310147501.1

申请日：2023-02-02

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  李一迪 ,  任家乐 ,  王国权

IPC: G01S5/18 ,  G06V40/16 ,  G06V10/82 ,  G06F30/27 ,  G06N3/08 ,  G06N3/0464 ,  G10L25/30 ,  G06F111/04

Abstract: 本发明涉及一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统。该方法包括：采用相机几何模型提取几何约束全局相干场线索，以表示声源信号的空间特征；根据与音频信号同步的视频帧的图片样本中的说话人位置标注，生成视觉引导的二值化伪标签；采用卷积神经网络结合全连接网络构成声学网络，声学网络利用几何约束全局相干场线索生成声学位置图谱，计算声学位置图谱与生成的伪标签的均方误差来训练声学网络；采用训练好的声学网络生成声学位置图谱，根据声学位置图谱中的峰值位置确定说话人声源的位置坐标。本发明利用视觉模态和听觉模态之间的互补性和一致性，增强了声学网络对于声源位置的学习能力，能够实现准确的声源定位。

公开(公告)号：CN116229939A

公开(公告)日：2023-06-06

申请号：CN202310091543.8

申请日：2023-01-29

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  李一迪 ,  任家乐

IPC: G10L15/02 ,  G10L15/16 ,  G10L15/26 ,  G06V20/40 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开涉及一种基于Transformer的视听融合机器人唤醒词识别方法及装置，涉及音视频信号处理领域。所述方法包括：提取当前环境下的音频特征和视频特征；基于Transformer的分类网络的自注意力操作和分类操作，分别获取音频特征和视频特征的音频唤醒词分类向量与视频唤醒词分类向量；基于音频特征进行自注意力操作时在时间维度上的注意力权重分布，得到唤醒词出现的时间。本发明不仅实现了高精度、鲁棒的基于分类的唤醒词识别，还可以精确定位唤醒词出现的时间。