公开(公告)号：CN119963674A

公开(公告)日：2025-05-09

申请号：CN202411955084.4

申请日：2024-12-27

Applicant: 中国科学院信息工程研究所

Inventor： 古晓艳 ,  刘恒源 ,  刘东 ,  代飞飞 ,  王伟平

IPC: G06T11/00 ,  G06N3/0475 ,  G06N3/042 ,  G06N3/049 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明提供一种定制化人物视频生成方法和装置，该方法包括：步骤1，基于具有先验知识的文本生成图像模型，结合以人物为中心的图像和视频数据，构建基础的姿态可控的人物视频生成模型；步骤2，通过参考视频中的姿态信息和文本描述构建训练数据集，微调所述人物视频生成模型的图像生成部分，学习参考人物的外观特征；步骤3，在已微调的所述人物视频生成模型基础上集成时序层，利用视频数据进行微调，增强所述人物视频生成模型对时间序列信息的建模能力，保持所述人物视频生成模型的先验知识；步骤4，输入自定义文本以及姿势图序列，利用微调后的所述人物视频生成模型，生成具有自定义场景和姿态的个性化视频。该方法克服了现有技术局限，降低计算资源开销，不仅提升了生成视频的个性化程度，还增强了对复杂场景和多样化姿态的生成能力，显著扩展了模型的应用范围与灵活性。