基于实体和位置关系的轨迹引导视频生成方法及装置

    公开(公告)号:CN119364140A

    公开(公告)日:2025-01-24

    申请号:CN202411377010.7

    申请日:2024-09-30

    Inventor: 唐胜 万璋 曹娟

    Abstract: 本发明提出一种基于实体和位置关系的轨迹引导视频生成方法和装置,包括:获取待编辑的视频帧及其对应的运动轨迹,视频帧中包括多个实体;提取步骤,以每个实体为中心建立极坐标系,通过将相邻实体边界框的四维向量转换为极坐标向量,得到实体间的相对位置,结合相对位置和视频帧的实体语义信息,得到视频帧的图像特征;初始化零矩阵,根据运动轨迹的轨迹序列点嵌入图像特征,得到实体表示;将实体表示和运动轨迹输入编码器,得到编码结果,将编码结果与高斯噪声相叠加后输入去噪扩散模型,获得多个不同分辨率的特征作为潜在条件信号,最后通过解码器对潜在条件信号进行解码,得到重构视频,作为视频帧在运动轨迹下的视频生成结果。

    基于时空分解与对齐的端到端动作视频生成方法及系统

    公开(公告)号:CN117710850A

    公开(公告)日:2024-03-15

    申请号:CN202311575656.1

    申请日:2023-11-23

    Abstract: 本发明提出一种基于时空分解与对齐的端到端动作视频生成方法,包括:构建视频生成模型,以一组姿势关键点、参考前景及参考背景作为该视频生成模型的模型输入,以目标动作视频作为该视频生成模型的模型输出;将该目标动作视频的原始视频空间分解为多组时空子空间,通过动作流引导使各组时空子空间的子空间特征对齐;将对齐后的各组时空子空间恢复为该原始视频空间,并得到该目标动作视频。本发明还提出一种基于时空分解与对齐的端到端动作视频生成系统,以及一种用于实现基于时空分解与对齐的端到端动作视频生成的数据处理装置。

    人物丑化图像识别和模型训练方法与装置

    公开(公告)号:CN113627498B

    公开(公告)日:2024-03-12

    申请号:CN202110854800.X

    申请日:2021-07-28

    Abstract: 本发明公开了一种人物丑化图像识别模型训练方法,包括以下步骤:将真实图像样本输入到丑化分类器中进行训练以使该其具有图像分类和图像特征提取的功能;冻结该丑化分类器的网络参数并将其作为图像特征提取器,将噪声和该真实图像样本输入到分类有益生成对抗网络进行训练以使其具有生成合成图像样本的功能;将该分类有益生成对抗网络生成的合成图像样本输入到该丑化分类器中进行进一步训练,得到该丑化分类器即为该人物丑化图像识别模型。

    一种社交平台的早期争议性消息检测方法及系统

    公开(公告)号:CN111694955B

    公开(公告)日:2023-09-12

    申请号:CN202010382894.0

    申请日:2020-05-08

    Abstract: 本发明提出一种社交平台的早期争议性消息检测方法及系统,包括:收集社交平台中关于预设话题下的所有消息,并根据每一条消息的评论信息为每一条消息的争议性进行标记,提取标记后消息的多维度争议性特征作为训练数据,以该训练数据训练梯度提升树模型,得到争议性消息检测模型;从该社交平台获取待发表的消息作为待检测消息,并将该待检测消息的多维度争议性特征输入至该争议性消息检测模型,得到该待检测消息的争议性消息检测结果。本发明可得到社交平台中待审核发表消息的争议性。

    基于面部划分的人脸深度伪造检测方法及系统

    公开(公告)号:CN113537027B

    公开(公告)日:2023-09-01

    申请号:CN202110776853.4

    申请日:2021-07-09

    Abstract: 本发明提出一种基于面部划分的人脸深度伪造检测方法和系统,包括:对训练数据,提取全局人脸特征;根据获取全局人脸特征过程中产生的浅层卷积特征,将该浅层卷积特征根据预设的面部划分方式,划分为多个图像区域,分别将该图像区域输入至局部人脸特征提取模型,得到该人脸图像的多个局部特征;通过注意力模型提取该多个局部特征间的关系特征,并将该关系特征与该全局特征拼接后输入至二分类模型,得到该训练数据的检测结果,根据该结果和该标签构建损失函数,以训练该全局人脸特征提取模型、局部人脸特征提取模型、注意力模型和该二分类模型。

Patent Agency Ranking