一种基于语音合成的乐谱智能视唱方法和系统

    公开(公告)号:CN111816157A

    公开(公告)日:2020-10-23

    申请号:CN202010590726.0

    申请日:2020-06-24

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于语音合成的乐谱智能视唱方法和系统,所述方法包括:步骤一、数据准备,输入并解析abc乐谱,得出具体一个abc乐谱中每个音符的音高以及时长信息;步骤二、训练参数,制作训练数据时生成了长度5个以内的音符,即在处理一个完整的abc乐谱时,将其所有音符划分成5个音符一组;步骤三、合成音频拼接,具体包括乐谱分段识别、片段拼接、波形对齐与空白段填充三个子步骤;步骤四、对合成的音频进行可视化展示。本发明解决了训练过程计算量大、直接拼接时拼接痕迹会比较明显、拼接杂音等技术问题,生成的音频和原数据的效果对比很难分辨出差别。

    一种基于语音合成的乐谱智能视唱方法和系统

    公开(公告)号:CN111816157B

    公开(公告)日:2023-01-31

    申请号:CN202010590726.0

    申请日:2020-06-24

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于语音合成的乐谱智能视唱方法和系统,所述方法包括:步骤一、数据准备,输入并解析abc乐谱,得出具体一个abc乐谱中每个音符的音高以及时长信息;步骤二、训练参数,制作训练数据时生成了长度5个以内的音符,即在处理一个完整的abc乐谱时,将其所有音符划分成5个音符一组;步骤三、合成音频拼接,具体包括乐谱分段识别、片段拼接、波形对齐与空白段填充三个子步骤;步骤四、对合成的音频进行可视化展示。本发明解决了训练过程计算量大、直接拼接时拼接痕迹会比较明显、拼接杂音等技术问题,生成的音频和原数据的效果对比很难分辨出差别。

    一种基于生成对抗网络的虚拟人声视唱方法和系统

    公开(公告)号:CN111816148A

    公开(公告)日:2020-10-23

    申请号:CN202010590728.X

    申请日:2020-06-24

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统,所述方法包括:步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频;步骤二、将abc文件转化为自定义格式的文本文件,将自定义文本文件和人声音频作为Tacotron-2神经网络模型的输入;步骤三、在Tacotron-2神经网络中,输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示;步骤四、完成了虚拟人声波形文件的合成;步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱,输出的语音节奏流畅自然,从而使得听者在聆听信息时会感觉自然,而不会感到设备的语音输出带有机械感与生涩感。

    一种基于生成对抗网络的虚拟人声视唱方法和系统

    公开(公告)号:CN111816148B

    公开(公告)日:2023-04-07

    申请号:CN202010590728.X

    申请日:2020-06-24

    Applicant: 厦门大学

    Abstract: 本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统,所述方法包括:步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频;步骤二、将abc文件转化为自定义格式的文本文件,将自定义文本文件和人声音频作为Tacotron‑2神经网络模型的输入;步骤三、在Tacotron‑2神经网络中,输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示;步骤四、完成了虚拟人声波形文件的合成;步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱,输出的语音节奏流畅自然,从而使得听者在聆听信息时会感觉自然,而不会感到设备的语音输出带有机械感与生涩感。

Patent Agency Ranking