公开(公告)号：CN119233039A

公开(公告)日：2024-12-31

申请号：CN202411239898.8

申请日：2024-09-05

Applicant: 中国移动通信集团浙江有限公司 ,  中国移动(浙江)创新研究院有限公司 ,  中国移动通信有限公司 ,  中国移动通信集团有限公司

Inventor： 吴文俊 ,  戴震 ,  徐迅 ,  严天恩 ,  严昱超 ,  陈建忠 ,  金炜众

IPC: H04N21/81 ,  H04N21/8549 ,  H04N21/44 ,  H04N21/4402 ,  H04N21/2343 ,  H04N21/234

Abstract: 本申请提供一种自定义区域动态视频生成方法、装置、设备、介质及产品，属于人工智能技术领域，获取用于视频生成内容描述的文本以及用于作为视频背景的图片；响应于用户在图片中选取的自定义区域，生成掩码图片；输入文本、图片和掩码图片至训练完成的视频生成模型，得到目标视频；视频生成模型通过在预设扩散模型中嵌入时序对齐模块和/或图像控制模块得到，时序对齐模型用于确定目标视频中每帧图像的时序，条件控制模块至少用于根据掩码图片确定目标视频的动态区域。本申请通过增加时序对齐模块以及条件控制模块优化视频生成质量及内容，并通过掩码操作实现指定区域的动态生成，解决了现有技术无法进行动态区域选择、视频内容难以控制的问题。