公开(公告)号：CN117597728A

公开(公告)日：2024-02-23

申请号：CN202280046394.7

申请日：2022-04-13

Applicant: 微软技术许可有限责任公司

Inventor： 李博涵 ,  何磊 ,  邓妍 ,  刘冰 ,  刘砚清 ,  赵晟

IPC: G10L13/033

Abstract: 提供了用于被配置成零样本学习的经个性化的文本到语音模型的机器学习模型的系统和方法，该模型包括特征提取器、说话者编码器和文本到语音模块。该特征提取器被配置成从与该新的目标说话者相关联的新的目标参考语音中提取声学特征和韵律特征。该说话者编码器被配置成基于从该新的目标参考语音提取的声学特征来生成与该新的目标说话者相对应的说话者嵌入。该文本到语音模块被配置成基于该说话者嵌入和从该新的目标参考语音中提取的该韵律特征来生成与该新的目标说话者相对应的个性化声音，而无需将该文本到语音模块应用于与该新的目标说话者相关联的新的标记的训练数据。

公开(公告)号：CN116601702A

公开(公告)日：2023-08-15

申请号：CN202180080711.2

申请日：2021-09-13

Applicant: 微软技术许可有限责任公司

Inventor： 刘砚清 ,  徐志航 ,  赵晟 ,  李博涵 ,  谭旭 ,  李润楠

IPC: G10L25/30

Abstract: 系统被配置用于生成、训练和利用TTS(文本到语音)模型，TTS模型配置有变化适配器组件。变化适配器组件生成并应用隐式和显式数据，用于细化和改进TTS模型的声学模型部分对经编码的音素数据的处理，并且使得由TTS模型生成的预测的频谱图被有效且准确地创建，用于由声码器以对应于正在处理的文本数据的期望的目标语言和目标说话者语体风格进行渲染。通过TTS模型所使用的编码和解码构象器的改变，诸如通过在编码/解码构象器堆栈中的自注意处理之前应用卷积处理，变化适配器组件所实现的效率和准确性还可以进一步受益。