公开(公告)号：CN115273887A

公开(公告)日：2022-11-01

申请号：CN202210598726.4

申请日：2022-05-30

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  梁文清 ,  袁硕 ,  李平安

IPC: G10L21/0272 ,  G10L21/0308 ,  G10L25/30

Abstract: 本发明公开了一种基于多重联合约束双输出深度神经网络的单通道语音分离方法，首先提出了三种联合约束损失函数，并进行整合，提出一种多重联合约束损失函数，用于训练双输出深度神经网络以解决单通道语音分离问题。该多重联合约束损失函数充分利用了网络输出值之间的关系，输出值与目标语音特征之间的关系，估计目标语音特征与混合语音特征之间的关系，在该损失函数指导下训练的深度神经网络可以输出更精确的预测值。此外，本发明采用优化思想求解了各约束项所对应的最优权重系数，使每项的约束力度更精准，进一步提升了分离系统的性能。实验结果表明，相比基于传统损失函数的方法，该方法的性能更加优越，能够更有效地分离出目标语音。

公开(公告)号：CN113539293B

公开(公告)日：2023-12-26

申请号：CN202110911979.8

申请日：2021-08-10

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  张蒙 ,  梁文清 ,  王灿 ,  李平安

IPC: G10L21/0272 ,  G10L21/0308 ,  G10L25/03 ,  G10L25/24 ,  G10L25/30 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于卷积神经网络和联合优化的单通道语音分离方法，属于语音分离技术领域，包括对语音信号进行预处理，提取单个信号和混合语音信号的幅度谱特征，并计算多通道特征和目标信号的理想浮值掩蔽；将多通道特征输入卷积神经网络，并提取深度特征；将深度特征和多通道特征进行融合，作为全连接层的输入，输出为目标信号的理想浮值掩蔽，并进行参数寻优以训练卷积神经网络；将混合语音信号输入训练后的卷积神经网络，以实现对混合语音信号进行分离。本发明通过将混合幅度谱特征与深度特征在融合层进行融合来训练分离模型，使输入特征所包含的语音信息更加的丰富；对网络参数进行联合优化，使得分离语音的清晰度和可懂度大幅提高。

公开(公告)号：CN113539293A

公开(公告)日：2021-10-22

申请号：CN202110911979.8

申请日：2021-08-10

Applicant: 南京邮电大学

Inventor： 孙林慧 ,  张蒙 ,  梁文清 ,  王灿 ,  李平安

IPC: G10L21/0272 ,  G10L21/0308 ,  G10L25/03 ,  G10L25/24 ,  G10L25/30 ,  G06N3/04

Abstract: 本发明公开了一种基于卷积神经网络和联合优化的单通道语音分离方法，属于语音分离技术领域，包括对语音信号进行预处理，提取单个信号和混合语音信号的幅度谱特征，并计算多通道特征和目标信号的理想浮值掩蔽；将多通道特征输入卷积神经网络，并提取深度特征；将深度特征和多通道特征进行融合，作为全连接层的输入，输出为目标信号的理想浮值掩蔽，并进行参数寻优以训练卷积神经网络；将混合语音信号输入训练后的卷积神经网络，以实现对混合语音信号进行分离。本发明通过将混合幅度谱特征与深度特征在融合层进行融合来训练分离模型，使输入特征所包含的语音信息更加的丰富；对网络参数进行联合优化，使得分离语音的清晰度和可懂度大幅提高。