一种定制化人物视频生成方法和装置

    公开(公告)号:CN119963674A

    公开(公告)日:2025-05-09

    申请号:CN202411955084.4

    申请日:2024-12-27

    Abstract: 本发明提供一种定制化人物视频生成方法和装置,该方法包括:步骤1,基于具有先验知识的文本生成图像模型,结合以人物为中心的图像和视频数据,构建基础的姿态可控的人物视频生成模型;步骤2,通过参考视频中的姿态信息和文本描述构建训练数据集,微调所述人物视频生成模型的图像生成部分,学习参考人物的外观特征;步骤3,在已微调的所述人物视频生成模型基础上集成时序层,利用视频数据进行微调,增强所述人物视频生成模型对时间序列信息的建模能力,保持所述人物视频生成模型的先验知识;步骤4,输入自定义文本以及姿势图序列,利用微调后的所述人物视频生成模型,生成具有自定义场景和姿态的个性化视频。该方法克服了现有技术局限,降低计算资源开销,不仅提升了生成视频的个性化程度,还增强了对复杂场景和多样化姿态的生成能力,显著扩展了模型的应用范围与灵活性。

    一种基于强化对比学习微调的跨域小样本关系抽取方法和系统

    公开(公告)号:CN116561308A

    公开(公告)日:2023-08-08

    申请号:CN202310358885.1

    申请日:2023-04-06

    Abstract: 本发明涉及一种基于强化对比学习微调的跨域小样本关系抽取方法和系统。该方法包括:利用预训练语言模型和特定领域知识库,采用训练集和验证集训练得到预训练的特征提取模型;利用测试集中支持集的少量新类样本,通过类别感知层和数据增强层进行增强后,利用对比学习损失函数对预训练的特征提取模型和类别感知层进行微调;将待处理的查询实例通过预训练的特征提取模型提取特征,并通过类别感知层进行增强,计算增强后的查询实例与各个类别原型之间的相似度,选择最相似的类别原型所属的类别作为查询实例的关系类别。本发明能够弥合不同领域之间的语义空间差距,并从新类中学习新的类敏感信息,能够有效提高关系预测的准确度。

Patent Agency Ranking