公开(公告)号：CN118658483A

公开(公告)日：2024-09-17

申请号：CN202410631920.7

申请日：2024-05-21

Applicant: 浙江大学 ,  OPPO广东移动通信有限公司

Inventor： 张克俊 ,  俞佳兴 ,  吴鑫达 ,  张铁耀 ,  吴宋若瑶 ,  许云飞 ,  卢冠廷

IPC: G10L17/04 ,  G10L15/06 ,  G10L15/18 ,  G06F40/216 ,  G06F40/253 ,  G06F40/242 ,  G06N20/00

Abstract: 本发明公开了一种基于对齐编码和多任务预训练的歌词到旋律生成方法，包括：(1)接收配对的歌词和旋律序列，使用统一的符号歌曲表征方法分别对歌词和旋律进行编码，并根据歌词和旋律不同维度上的对齐关系，引入对齐编码；(2)提取歌词和旋律之间高度相关的特征，将配对特征引入N元语法的综合分数计算；(3)选取高分的N元语法，构建词曲和谐的N元语法词典；(4)依据N元语法词典和多任务预训练框架，输入对齐编码后的歌词和旋律序列，进行不同尺度的掩码并预训练；(5)对预训练后的模型在歌词到旋律生成任务上进行微调，并利用微调后的模型进行歌词到旋律生成的应用。利用本发明，能够根据歌词，生成在对齐与和谐性上一致的旋律。