基于实体和位置关系的轨迹引导视频生成方法及装置

    公开(公告)号:CN119364140A

    公开(公告)日:2025-01-24

    申请号:CN202411377010.7

    申请日:2024-09-30

    Inventor: 唐胜 万璋 曹娟

    Abstract: 本发明提出一种基于实体和位置关系的轨迹引导视频生成方法和装置,包括:获取待编辑的视频帧及其对应的运动轨迹,视频帧中包括多个实体;提取步骤,以每个实体为中心建立极坐标系,通过将相邻实体边界框的四维向量转换为极坐标向量,得到实体间的相对位置,结合相对位置和视频帧的实体语义信息,得到视频帧的图像特征;初始化零矩阵,根据运动轨迹的轨迹序列点嵌入图像特征,得到实体表示;将实体表示和运动轨迹输入编码器,得到编码结果,将编码结果与高斯噪声相叠加后输入去噪扩散模型,获得多个不同分辨率的特征作为潜在条件信号,最后通过解码器对潜在条件信号进行解码,得到重构视频,作为视频帧在运动轨迹下的视频生成结果。

    基于时空分解与对齐的端到端动作视频生成方法及系统

    公开(公告)号:CN117710850A

    公开(公告)日:2024-03-15

    申请号:CN202311575656.1

    申请日:2023-11-23

    Abstract: 本发明提出一种基于时空分解与对齐的端到端动作视频生成方法,包括:构建视频生成模型,以一组姿势关键点、参考前景及参考背景作为该视频生成模型的模型输入,以目标动作视频作为该视频生成模型的模型输出;将该目标动作视频的原始视频空间分解为多组时空子空间,通过动作流引导使各组时空子空间的子空间特征对齐;将对齐后的各组时空子空间恢复为该原始视频空间,并得到该目标动作视频。本发明还提出一种基于时空分解与对齐的端到端动作视频生成系统,以及一种用于实现基于时空分解与对齐的端到端动作视频生成的数据处理装置。

    人物丑化图像识别和模型训练方法与装置

    公开(公告)号:CN113627498B

    公开(公告)日:2024-03-12

    申请号:CN202110854800.X

    申请日:2021-07-28

    Abstract: 本发明公开了一种人物丑化图像识别模型训练方法,包括以下步骤:将真实图像样本输入到丑化分类器中进行训练以使该其具有图像分类和图像特征提取的功能;冻结该丑化分类器的网络参数并将其作为图像特征提取器,将噪声和该真实图像样本输入到分类有益生成对抗网络进行训练以使其具有生成合成图像样本的功能;将该分类有益生成对抗网络生成的合成图像样本输入到该丑化分类器中进行进一步训练,得到该丑化分类器即为该人物丑化图像识别模型。

    基于一致性特征的场景分割方法和系统

    公开(公告)号:CN110472493B

    公开(公告)日:2022-01-21

    申请号:CN201910604601.6

    申请日:2019-07-05

    Abstract: 本发明提出一种基于一致性特征(ConsensusFeatures)的场景分割方法和系统,包括对特征提取器学习到的特征进行实例一致性变换和类别一致性变换,将变换后的特征输入到场景分割子网络,得到原始图像的场景分割结果。本发明提出了一种通过实例一致性变换单元去学习实例层次的一致性特征。另一方面,由于在场景图像中存在着多个同类实例,本发明使用类别一致性单元去学习类层次的一致性特征。这两个单元极大地提高了现有基于全卷积的场景分割模型的性能。

    人物丑化图像识别和模型训练方法与装置

    公开(公告)号:CN113627498A

    公开(公告)日:2021-11-09

    申请号:CN202110854800.X

    申请日:2021-07-28

    Abstract: 本发明公开了一种人物丑化图像识别模型训练方法,包括以下步骤:将真实图像样本输入到丑化分类器中进行训练以使该其具有图像分类和图像特征提取的功能;冻结该丑化分类器的网络参数并将其作为图像特征提取器,将噪声和该真实图像样本输入到分类有益生成对抗网络进行训练以使其具有生成合成图像样本的功能;将该分类有益生成对抗网络生成的合成图像样本输入到该丑化分类器中进行进一步训练,得到该丑化分类器即为该人物丑化图像识别模型。

Patent Agency Ranking