公开(公告)号：CN111816148A

公开(公告)日：2020-10-23

申请号：CN202010590728.X

申请日：2020-06-24

Applicant: 厦门大学

Inventor： 吴清强 ,  刘昆宏 ,  张敬峥 ,  吴苏悦 ,  宗雁翔 ,  朱何莹

IPC: G10H1/00 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统，所述方法包括：步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频；步骤二、将abc文件转化为自定义格式的文本文件，将自定义文本文件和人声音频作为Tacotron-2神经网络模型的输入；步骤三、在Tacotron-2神经网络中，输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示；步骤四、完成了虚拟人声波形文件的合成；步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱，输出的语音节奏流畅自然，从而使得听者在聆听信息时会感觉自然，而不会感到设备的语音输出带有机械感与生涩感。

公开(公告)号：CN111816148B

公开(公告)日：2023-04-07

申请号：CN202010590728.X

申请日：2020-06-24

Applicant: 厦门大学

Inventor： 吴清强 ,  刘昆宏 ,  张敬峥 ,  吴苏悦 ,  宗雁翔 ,  朱何莹

IPC: G10H1/00 ,  G06N3/08 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统，所述方法包括：步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频；步骤二、将abc文件转化为自定义格式的文本文件，将自定义文本文件和人声音频作为Tacotron‑2神经网络模型的输入；步骤三、在Tacotron‑2神经网络中，输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示；步骤四、完成了虚拟人声波形文件的合成；步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱，输出的语音节奏流畅自然，从而使得听者在聆听信息时会感觉自然，而不会感到设备的语音输出带有机械感与生涩感。