-
公开(公告)号:CN111816157A
公开(公告)日:2020-10-23
申请号:CN202010590726.0
申请日:2020-06-24
Applicant: 厦门大学
IPC: G10L13/02
Abstract: 本发明提供了一种基于语音合成的乐谱智能视唱方法和系统,所述方法包括:步骤一、数据准备,输入并解析abc乐谱,得出具体一个abc乐谱中每个音符的音高以及时长信息;步骤二、训练参数,制作训练数据时生成了长度5个以内的音符,即在处理一个完整的abc乐谱时,将其所有音符划分成5个音符一组;步骤三、合成音频拼接,具体包括乐谱分段识别、片段拼接、波形对齐与空白段填充三个子步骤;步骤四、对合成的音频进行可视化展示。本发明解决了训练过程计算量大、直接拼接时拼接痕迹会比较明显、拼接杂音等技术问题,生成的音频和原数据的效果对比很难分辨出差别。
-
公开(公告)号:CN111816157B
公开(公告)日:2023-01-31
申请号:CN202010590726.0
申请日:2020-06-24
Applicant: 厦门大学
IPC: G10L13/02
Abstract: 本发明提供了一种基于语音合成的乐谱智能视唱方法和系统,所述方法包括:步骤一、数据准备,输入并解析abc乐谱,得出具体一个abc乐谱中每个音符的音高以及时长信息;步骤二、训练参数,制作训练数据时生成了长度5个以内的音符,即在处理一个完整的abc乐谱时,将其所有音符划分成5个音符一组;步骤三、合成音频拼接,具体包括乐谱分段识别、片段拼接、波形对齐与空白段填充三个子步骤;步骤四、对合成的音频进行可视化展示。本发明解决了训练过程计算量大、直接拼接时拼接痕迹会比较明显、拼接杂音等技术问题,生成的音频和原数据的效果对比很难分辨出差别。
-
公开(公告)号:CN111816148A
公开(公告)日:2020-10-23
申请号:CN202010590728.X
申请日:2020-06-24
Applicant: 厦门大学
Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统,所述方法包括:步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频;步骤二、将abc文件转化为自定义格式的文本文件,将自定义文本文件和人声音频作为Tacotron-2神经网络模型的输入;步骤三、在Tacotron-2神经网络中,输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示;步骤四、完成了虚拟人声波形文件的合成;步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱,输出的语音节奏流畅自然,从而使得听者在聆听信息时会感觉自然,而不会感到设备的语音输出带有机械感与生涩感。
-
公开(公告)号:CN111816148B
公开(公告)日:2023-04-07
申请号:CN202010590728.X
申请日:2020-06-24
Applicant: 厦门大学
IPC: G10H1/00 , G06N3/08 , G06N3/0442 , G06N3/045 , G06N3/0464
Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统,所述方法包括:步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频;步骤二、将abc文件转化为自定义格式的文本文件,将自定义文本文件和人声音频作为Tacotron‑2神经网络模型的输入;步骤三、在Tacotron‑2神经网络中,输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示;步骤四、完成了虚拟人声波形文件的合成;步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱,输出的语音节奏流畅自然,从而使得听者在聆听信息时会感觉自然,而不会感到设备的语音输出带有机械感与生涩感。
-
-
-