公开(公告)号：CN118096961B

公开(公告)日：2024-07-12

申请号：CN202410330050.X

申请日：2024-03-22

Applicant: 腾讯科技(深圳)有限公司

Inventor： 韩玥 ,  朱俊伟 ,  张江宁 ,  季孝忠 ,  贺珂珂 ,  汪铖杰

IPC: G06T13/40 ,  G06T19/20 ,  G06V40/16 ,  G06V10/54 ,  G06N3/0455

Abstract: 本公开提出了一种图像处理方法、图像处理装置和设备、计算机可读存储介质以及计算机程序产品。图像处理方法包括：接收源图像和驱动因子，驱动因子包括驱动文本、驱动图像、驱动音频和驱动视频中的至少一个；从源图像中提取第一面部参数集，并基于驱动因子生成第二面部参数集；基于第一面部参数集和第二面部参数集生成组合面部参数集；利用组合面部参数集进行图像渲染以生成渲染图像；以及基于渲染图像生成重演图像，该重演图像至少包括来自源图像的面部身份信息和来自驱动因子的面部运动信息。

公开(公告)号：CN118644596B

公开(公告)日：2024-12-27

申请号：CN202411117852.9

申请日：2024-08-15

Applicant: 腾讯科技(深圳)有限公司

Inventor： 贺珂珂 ,  韩玥 ,  朱俊伟 ,  季孝忠

IPC: G06T13/40 ,  G06T13/20 ,  G06V40/16 ,  G06T7/246 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/088

Abstract: 本申请公开了一种人脸关键点运动图像生成方法以及相关设备，可以获取参考图像帧，并调用人脸关键点预测模型提取参考图像帧中人脸对应的人脸关键点信息；获取目标音频，并调用音频特征模型提取目标音频的目标音频特征；基于预设窗口尺寸，从目标音频特征中截取待处理音频特征，并获取待处理音频特征对应的至少一个前序图像帧；基于待添加噪声、迭代过程对应的时间步数值、人脸关键点信息、待处理音频特征、以及前序图像帧，调用扩散网络模型通过多次迭代过程预测参考图像帧在目标音频下的人脸关键点运动图像。本申请可生成自然且准确的人脸关键点运动图像。

公开(公告)号：CN118644596A

公开(公告)日：2024-09-13

申请号：CN202411117852.9

申请日：2024-08-15

Applicant: 腾讯科技(深圳)有限公司

Inventor： 贺珂珂 ,  韩玥 ,  朱俊伟 ,  季孝忠

IPC: G06T13/40 ,  G06T13/20 ,  G06V40/16 ,  G06T7/246 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/088

Abstract: 本申请公开了一种人脸关键点运动图像生成方法以及相关设备，可以获取参考图像帧，并调用人脸关键点预测模型提取参考图像帧中人脸对应的人脸关键点信息；获取目标音频，并调用音频特征模型提取目标音频的目标音频特征；基于预设窗口尺寸，从目标音频特征中截取待处理音频特征，并获取待处理音频特征对应的至少一个前序图像帧；基于待添加噪声、迭代过程对应的时间步数值、人脸关键点信息、待处理音频特征、以及前序图像帧，调用扩散网络模型通过多次迭代过程预测参考图像帧在目标音频下的人脸关键点运动图像。本申请可生成自然且准确的人脸关键点运动图像。

公开(公告)号：CN118096961A

公开(公告)日：2024-05-28

申请号：CN202410330050.X

申请日：2024-03-22

Applicant: 腾讯科技(深圳)有限公司

Inventor： 韩玥 ,  朱俊伟 ,  张江宁 ,  季孝忠 ,  贺珂珂 ,  汪铖杰

IPC: G06T13/40 ,  G06T19/20 ,  G06V40/16 ,  G06V10/54 ,  G06N3/0455

Abstract: 本公开提出了一种图像处理方法、图像处理装置和设备、计算机可读存储介质以及计算机程序产品。图像处理方法包括：接收源图像和驱动因子，驱动因子包括驱动文本、驱动图像、驱动音频和驱动视频中的至少一个；从源图像中提取第一面部参数集，并基于驱动因子生成第二面部参数集；基于第一面部参数集和第二面部参数集生成组合面部参数集；利用组合面部参数集进行图像渲染以生成渲染图像；以及基于渲染图像生成重演图像，该重演图像至少包括来自源图像的面部身份信息和来自驱动因子的面部运动信息。