公开(公告)号：CN116229939A

公开(公告)日：2023-06-06

申请号：CN202310091543.8

申请日：2023-01-29

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  李一迪 ,  任家乐

IPC: G10L15/02 ,  G10L15/16 ,  G10L15/26 ,  G06V20/40 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开涉及一种基于Transformer的视听融合机器人唤醒词识别方法及装置，涉及音视频信号处理领域。所述方法包括：提取当前环境下的音频特征和视频特征；基于Transformer的分类网络的自注意力操作和分类操作，分别获取音频特征和视频特征的音频唤醒词分类向量与视频唤醒词分类向量；基于音频特征进行自注意力操作时在时间维度上的注意力权重分布，得到唤醒词出现的时间。本发明不仅实现了高精度、鲁棒的基于分类的唤醒词识别，还可以精确定位唤醒词出现的时间。

公开(公告)号：CN116087878A

公开(公告)日：2023-05-09

申请号：CN202310147501.1

申请日：2023-02-02

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  李一迪 ,  任家乐 ,  王国权

IPC: G01S5/18 ,  G06V40/16 ,  G06V10/82 ,  G06F30/27 ,  G06N3/08 ,  G06N3/0464 ,  G10L25/30 ,  G06F111/04

Abstract: 本发明涉及一种基于几何约束全局相干场和视觉引导的说话人声源定位方法和系统。该方法包括：采用相机几何模型提取几何约束全局相干场线索，以表示声源信号的空间特征；根据与音频信号同步的视频帧的图片样本中的说话人位置标注，生成视觉引导的二值化伪标签；采用卷积神经网络结合全连接网络构成声学网络，声学网络利用几何约束全局相干场线索生成声学位置图谱，计算声学位置图谱与生成的伪标签的均方误差来训练声学网络；采用训练好的声学网络生成声学位置图谱，根据声学位置图谱中的峰值位置确定说话人声源的位置坐标。本发明利用视觉模态和听觉模态之间的互补性和一致性，增强了声学网络对于声源位置的学习能力，能够实现准确的声源定位。

公开(公告)号：CN114611546B

公开(公告)日：2025-04-15

申请号：CN202210137621.9

申请日：2022-02-15

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  杨冰 ,  李一迪

IPC: G06F18/22 ,  G06F18/2131 ,  G06F18/241 ,  G01S5/22 ,  G06F18/25 ,  G06N3/045 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/044 ,  G06F123/00

Abstract: 本发明涉及一种基于空间和频谱时序信息建模的多移动声源定位方法和系统。本发明将直达路径相位差和声源活跃程度信息以加权求和的方式编码到学习目标中，从而指导网络学习具有竞争性和时变性的多移动声源的直达路径相位差特征，避免了多目标回归框架面临的分配歧义以及输出维度不确定问题；通过迭代地检测和定位主导声源来确定多移动声源的位置，降低了多声源之间的相互影响；引入频谱特征提取网络，建立了声源位置与声源身份之间的关联，通过对空间和频谱的时序信息进行建模实现了可靠的多移动声源跟踪。

公开(公告)号：CN116312512A

公开(公告)日：2023-06-23

申请号：CN202310101018.X

申请日：2023-02-01

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  李一迪 ,  王国权

IPC: G10L15/22 ,  G06V20/40 ,  G06V40/16 ,  G06V10/82 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/08 ,  G10L15/06 ,  G10L15/16 ,  G10L15/02

Abstract: 本发明公开了一种面向多人场景的视听融合唤醒词识别方法及装置，所述方法包括：采集多人场景下的原始音频和每个人的唇部运动视频；将所述原始音频和所述唇部运动视频一同送入唤醒词识别网络，以得到唤醒词识别结果。本发明通过引入注意力机制来计算时间得分矩阵，并通过比较每个帧的视听得分结果来检测潜在的说话人；通过知识蒸馏将知识从大模型转移到设备上的轻量化模型，以达到降低模型计算复杂度的目的。

公开(公告)号：CN114611546A

公开(公告)日：2022-06-10

申请号：CN202210137621.9

申请日：2022-02-15

Applicant: 北京大学深圳研究生院

Inventor： 刘宏 ,  杨冰 ,  李一迪

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08 ,  G01S5/22

Abstract: 本发明涉及一种基于空间和频谱时序信息建模的多移动声源定位方法和系统。本发明将直达路径相位差和声源活跃程度信息以加权求和的方式编码到学习目标中，从而指导网络学习具有竞争性和时变性的多移动声源的直达路径相位差特征，避免了多目标回归框架面临的分配歧义以及输出维度不确定问题；通过迭代地检测和定位主导声源来确定多移动声源的位置，降低了多声源之间的相互影响；引入频谱特征提取网络，建立了声源位置与声源身份之间的关联，通过对空间和频谱的时序信息进行建模实现了可靠的多移动声源跟踪。