公开(公告)号：CN119943028A

公开(公告)日：2025-05-06

申请号：CN202510121489.6

申请日：2025-01-24

Applicant: 上海交通大学

Inventor： 钱彦旻 ,  张乐莹 ,  陈正阳 ,  张王优

IPC: G10L13/08 ,  G10L13/04 ,  G10L25/24 ,  G10L21/0208 ,  G10L19/00 ,  G10L19/16

Abstract: 本发明公开了一种环境感知的可控背景去除和保留的语音合成系统，涉及语音领域，本发明提出了一个能够根据带噪提示语音感知声学环境，从而进行可控背景去除和保留的语音合成系统，以文本、提示语音和任务相关的控制信号作为输入，包含时长预测器、声学模型和双重提示语音编码器，在训练策略上，基于流匹配算法，进一步提出了可控的掩码语音预测训练策略，通过提供带噪的提示语音实现可控的背景去除和保留。本发明提高了系统处理带噪、混响和干扰说话人的提示语音的鲁棒性和可控性，能够在生成语音时有效地控制提示语音中含有的背景的去除与保留，实现更高的生成语音质量和更相似的声学背景。

公开(公告)号：CN117995161A

公开(公告)日：2024-05-07

申请号：CN202410200402.X

申请日：2024-02-22

Applicant: 上海交通大学

Inventor： 钱彦旻 ,  张乐莹

IPC: G10L13/02 ,  G10L13/047

Abstract: 本发明公开了一种基于离散语音标记和离散扩散模型的语音合成系统，涉及语音领域，本发明首先经过说话人特征编码器得到维度为512的说话人特征，音素和说话人特征共同被送入音素编码器，得到音素级别的特征；所述音素级别的特征和所述说话人特征再经过时长预测器，可得到每个音素所对应的时长，通过复制音素相对应的帧的次数，我们就得到了含有时长信息的帧级别特征；所述帧级别特征将作为条件送入离散扩散模型，生成对应的离散的语音标记序列，所述语音标记序列又被进一步送入神经音频解码器，从而得到最终的语音波形。本发明通过使用神经音频编码方案，能够降低输入数据的维度并提高模型效率。