基于注意力门控的循环神经网络的单通道语音增强方法

    公开(公告)号:CN110085249B

    公开(公告)日:2021-03-16

    申请号:CN201910385797.4

    申请日:2019-05-09

    Abstract: 本发明公开了一种基于注意力门控的循环神经网络的单通道语音增强方法,包括对带噪的单通道语音进行分帧加窗,提取38维信号特征;构建用于单通道语音增强的深度循环神经网络;利用纯净语音库和噪声库构建训练数据集;训练构建的深度循环神经网络;将提取的带噪语音特征输入训练好的深度循环神经网络,输出带噪语音的频带增益估计值,并进行平滑、内插得到内插增益;将内插增益作用于带噪的单通道语音,得到增强后的语音频谱。本发明能够有效抑制包括非平稳噪声在内的噪声,同时保持足够低的计算复杂度,从而能够用于实时的单通道语音增强,方法巧妙,构思新颖,具有良好的应用前景。

    基于自注意多核最大均值差异的迁移学习语音增强方法

    公开(公告)号:CN110111803B

    公开(公告)日:2021-02-19

    申请号:CN201910385769.2

    申请日:2019-05-09

    Abstract: 本发明公开了一种基于自注意多核最大均值差异的迁移学习语音增强方法,包括从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;构建基于深层神经网络的语音增强模型;构建自注意多核最大均值差异的迁移学习语音增强模型;训练自注意多核最大均值差异的迁移学习语音增强模型;输入目标域带噪语音的帧级特征,重建增强语音波形。本发明在多核最大均值差异前端添加自注意力算法,通过最小化源域注意到的特征和目标域注意到的特征之间的多核最大均值差异,实现对无标签的目标域的迁移学习,提高语音增强性能,具有良好的应用前景。

    基于跨层相似性知识蒸馏的语音增强方法

    公开(公告)号:CN114067819B

    公开(公告)日:2024-06-21

    申请号:CN202111385676.3

    申请日:2021-11-22

    Abstract: 本发明公开了基于跨层相似性知识蒸馏的语音增强方法,包括提取深度神经网络的输入特征,再构建基于深度复卷积循环语音增强网络结构的蒸馏基础模型,接着根据蒸馏基础模型构建基于跨层相似性蒸馏的师生学习框架,并预训练大规模参数的蒸馏基础模型作为教师模型,再利用预训练好的教师模型对学生模型进行蒸馏;本发明提出了跨级路径连接的策略,并融合了多层教师模型的有效信息来引导单层学生网络,且为了更好地适应语音增强任务,引入了帧级相似性蒸馏损失,并在教师和学生的表示空间中保留成对相似性以最终实现知识转移,还用大规模的教师模型引导轻量的学生模型,能够有效的提升低复杂度语音增强模型的效果,具有良好的应用前景。

    基于深度域自适应网络的助听器语音增强方法

    公开(公告)号:CN111968666B

    公开(公告)日:2022-02-01

    申请号:CN202010847510.8

    申请日:2020-08-20

    Abstract: 本发明公开了一种基于深度域自适应网络的助听器语音增强方法,包括:分别从带噪语音和干净语音中提取帧级对数功率谱特征;构建基于编码器‑解码器结构的深度学习模型作为基线语音增强模型;在基线语音增强模型的基础上,构建基于深度域自适应网络的迁移学习语音增强模型;迁移学习语音增强模型在特征编码器和重建解码器之间引入域适配层和相对鉴别器;利用域对抗性损失训练迁移学习语音增强模型;在增强阶段,根据训练后的深度域自适应迁移学习语音增强模型,输入目标域带噪语音的帧级LPS特征,重建增强语音波形。本发明通过域对抗性训练来激励特征编码器生成域不变性特征,从而提高语音增强模型对未见噪声的适应性。

    基于自注意多核最大均值差异的迁移学习语音增强方法

    公开(公告)号:CN110111803A

    公开(公告)日:2019-08-09

    申请号:CN201910385769.2

    申请日:2019-05-09

    Abstract: 本发明公开了一种基于自注意多核最大均值差异的迁移学习语音增强方法,包括从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;构建基于深层神经网络的语音增强模型;构建自注意多核最大均值差异的迁移学习语音增强模型;训练自注意多核最大均值差异的迁移学习语音增强模型;输入目标域带噪语音的帧级特征,重建增强语音波形。本发明在多核最大均值差异前端添加自注意力算法,通过最小化源域注意到的特征和目标域注意到的特征之间的多核最大均值差异,实现对无标签的目标域的迁移学习,提高语音增强性能,具有良好的应用前景。

    基于注意力门控的循环神经网络的单通道语音增强方法

    公开(公告)号:CN110085249A

    公开(公告)日:2019-08-02

    申请号:CN201910385797.4

    申请日:2019-05-09

    Abstract: 本发明公开了一种基于注意力门控的循环神经网络的单通道语音增强方法,包括对带噪的单通道语音进行分帧加窗,提取38维信号特征;构建用于单通道语音增强的深度循环神经网络;利用纯净语音库和噪声库构建训练数据集;训练构建的深度循环神经网络;将提取的带噪语音特征输入训练好的深度循环神经网络,输出带噪语音的频带增益估计值,并进行平滑、内插得到内插增益;将内插增益作用于带噪的单通道语音,得到增强后的语音频谱。本发明能够有效抑制包括非平稳噪声在内的噪声,同时保持足够低的计算复杂度,从而能够用于实时的单通道语音增强,方法巧妙,构思新颖,具有良好的应用前景。

    基于跨层相似性知识蒸馏的语音增强方法

    公开(公告)号:CN114067819A

    公开(公告)日:2022-02-18

    申请号:CN202111385676.3

    申请日:2021-11-22

    Abstract: 本发明公开了基于跨层相似性知识蒸馏的语音增强方法,包括提取深度神经网络的输入特征,再构建基于深度复卷积循环语音增强网络结构的蒸馏基础模型,接着根据蒸馏基础模型构建基于跨层相似性蒸馏的师生学习框架,并预训练大规模参数的蒸馏基础模型作为教师模型,再利用预训练好的教师模型对学生模型进行蒸馏;本发明提出了跨级路径连接的策略,并融合了多层教师模型的有效信息来引导单层学生网络,且为了更好地适应语音增强任务,引入了帧级相似性蒸馏损失,并在教师和学生的表示空间中保留成对相似性以最终实现知识转移,还用大规模的教师模型引导轻量的学生模型,能够有效的提升低复杂度语音增强模型的效果,具有良好的应用前景。

    基于深度域自适应网络的助听器语音增强方法

    公开(公告)号:CN111968666A

    公开(公告)日:2020-11-20

    申请号:CN202010847510.8

    申请日:2020-08-20

    Abstract: 本发明公开了一种基于深度域自适应网络的助听器语音增强方法,包括:分别从带噪语音和干净语音中提取帧级对数功率谱特征;构建基于编码器-解码器结构的深度学习模型作为基线语音增强模型;在基线语音增强模型的基础上,构建基于深度域自适应网络的迁移学习语音增强模型;迁移学习语音增强模型在特征编码器和重建解码器之间引入域适配层和相对鉴别器;利用域对抗性损失训练迁移学习语音增强模型;在增强阶段,根据训练后的深度域自适应迁移学习语音增强模型,输入目标域带噪语音的帧级LPS特征,重建增强语音波形。本发明通过域对抗性训练来激励特征编码器生成域不变性特征,从而提高语音增强模型对未见噪声的适应性。

Patent Agency Ranking