公开(公告)号：CN117956247B

公开(公告)日：2024-08-27

申请号：CN202311823680.2

申请日：2023-12-27

Applicant: 北京信息科技大学

Inventor： 冉昕哲 ,  黄小明 ,  高琛 ,  梁嘉桐 ,  倪芊睿 ,  程思琪

IPC: H04N21/854 ,  H04N21/233 ,  H04N21/439 ,  G10L15/04 ,  G10L15/26 ,  G10L25/90

Abstract: 本发明提供一种音乐驱动的视频自动生成方法、系统、设备及介质，所述方法包括以下步骤：获取音频数据；基于所述音频数据生成音频的客观特征描述；基于音频的客观特征描述通过大模型生成音频的主观特征描述；基于所述音频的客观特征描述和音频的主观特征描述通过大模型生成场景描述文字；将场景描述文字输入到从文本到视频生成工具，生成与音频数据匹配的视频。本发明只需使用音乐中的音频信息，不需要歌词，不需要收集大量音乐和视频数据训练模型，就能生成与音频相关的视频。

公开(公告)号：CN117956247A

公开(公告)日：2024-04-30

申请号：CN202311823680.2

申请日：2023-12-27

Applicant: 北京信息科技大学

Inventor： 冉昕哲 ,  黄小明 ,  高琛 ,  梁嘉桐 ,  倪芊睿 ,  程思琪

IPC: H04N21/854 ,  H04N21/233 ,  H04N21/439 ,  G10L15/04 ,  G10L15/26 ,  G10L25/90

Abstract: 本发明提供一种音乐驱动的视频自动生成方法、系统、设备及介质，所述方法包括以下步骤：获取音频数据；基于所述音频数据生成音频的客观特征描述；基于音频的客观特征描述通过大模型生成音频的主观特征描述；基于所述音频的客观特征描述和音频的主观特征描述通过大模型生成场景描述文字；将场景描述文字输入到从文本到视频生成工具，生成与音频数据匹配的视频。本发明只需使用音乐中的音频信息，不需要歌词，不需要收集大量音乐和视频数据训练模型，就能生成与音频相关的视频。