公开(公告)号：CN117710850A

公开(公告)日：2024-03-15

申请号：CN202311575656.1

申请日：2023-11-23

Applicant: 中国科学院计算技术研究所

Inventor： 唐胜 ,  房海鹏 ,  孙志豪 ,  黄子尧 ,  唐帆 ,  曹娟

IPC: G06V20/40 ,  G06V10/46

Abstract: 本发明提出一种基于时空分解与对齐的端到端动作视频生成方法，包括：构建视频生成模型，以一组姿势关键点、参考前景及参考背景作为该视频生成模型的模型输入，以目标动作视频作为该视频生成模型的模型输出；将该目标动作视频的原始视频空间分解为多组时空子空间，通过动作流引导使各组时空子空间的子空间特征对齐；将对齐后的各组时空子空间恢复为该原始视频空间，并得到该目标动作视频。本发明还提出一种基于时空分解与对齐的端到端动作视频生成系统，以及一种用于实现基于时空分解与对齐的端到端动作视频生成的数据处理装置。

公开(公告)号：CN117979115A

公开(公告)日：2024-05-03

申请号：CN202410069876.5

申请日：2024-01-17

Applicant: 中国科学院计算技术研究所

Inventor： 唐帆 ,  黄子尧 ,  曹娟 ,  李锦涛 ,  唐胜

IPC: H04N21/81 ,  H04N5/222

Abstract: 本发明提出一种基于扩散模型的虚拟主播全身视频生成方法和系统，包括：获取人物视频，每个人物视频具有对应的人物外观控制图像；构建用于生成视频的扩散模型，输入人物外观控制图像至图像编码器，得到训练外观描述；为人物视频的帧画面添加噪声数据得到含噪图像；图像去噪模型根据训练外观描述和含噪图像对应的三维人体数据，进行图像去噪，构建损失函数训练扩散网络，得到虚拟人物视频生成模型；获取人物全身姿态的多帧目标三维数据和其目标虚拟人物图像，输入目标虚拟人物图像至图像编码器，得到目标外观描述；虚拟人物视频生成模型的图像去噪模型根据目标外观描述和目标三维数据，为噪声图像降噪，得到目标虚拟人物视频。

公开(公告)号：CN116523806A

公开(公告)日：2023-08-01

申请号：CN202310208841.0

申请日：2023-03-06

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  方凌飞 ,  黄子尧 ,  唐胜

IPC: G06T5/50 ,  G06T5/00 ,  G06T13/40 ,  G06T13/20 ,  G06N3/0455

Abstract: 本发明提供了一种基于换脸的合成人脸修复方法、介质和电子设备，其中，合成人脸修复模型的构建方法包括：利用合成人脸图像集训练第一自编码器进行人脸图像重构，得到经训练的第一自编码器，其中，第一自编码器包括编码器和解码器，合成人脸图像集包括目标人物说话状态的合成人脸图像；利用源人脸图像集训练第二自编码器进行人脸图像重构，得到经训练的第二自编码器，其中，第二自编码器包括编码器和解码器，源人脸图像集包括目标人物正常说话状态的人脸图像；构建用于对人脸图像进行修复的人脸修复模型，其由经训练的第一自编码器的编码器以及经训练的第二自编码器的解码器构成；以得到能够对合成人脸进行高效、高质量修复的人脸修复模型。