公开(公告)号：CN119364141A

公开(公告)日：2025-01-24

申请号：CN202411462352.9

申请日：2024-10-18

Applicant: 科大讯飞股份有限公司

Inventor： 张海薇

IPC: H04N21/854 ,  H04N21/44 ,  H04N21/4402 ,  H04N21/439 ,  H04N21/233 ,  H04N21/234 ,  G06T13/40

Abstract: 本发明提供一种虚拟人视频生成方法、装置、电子设备及存储介质，涉及人工智能技术领域，该方法中通过将每个视频帧中的人脸图像、遮盖图像以及语音特征一同输入至目标图像生成模型进行处理，可以使最终得到的虚拟人视频与待处理视频相比，仅虚拟人的口型发生变化，与驱动语音一致，姿态依然保持一致，可以使虚拟人形象更加逼真，提高用户的观看体验。而且，该方法中将人脸图像和遮盖图像分别进行编码，可以使人脸图像的信息得到充分应用，进而结合自注意力机制以及交叉注意力机制，将图像特征与语音特征进行融合，使人脸图像的细节保持度更高，降低虚拟人与真人的差异，提高虚拟人视频的逼真效果。

公开(公告)号：CN117173284A

公开(公告)日：2023-12-05

申请号：CN202311030829.1

申请日：2023-08-14

Applicant: 科大讯飞股份有限公司

Inventor： 刘聪 ,  张海薇 ,  何山 ,  高建清 ,  杨硕 ,  殷保才 ,  殷兵 ,  郜静文 ,  胡国平 ,  魏思 ,  王士进 ,  刘权

IPC: G06T11/60 ,  G06V10/44 ,  G06V10/82 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/045

Abstract: 本申请公开了一种图像生成方法、装置、设备和存储介质，其中，图像生成方法包括：获取原始图像；显示对原始图像分析得到的图像描述文本；响应于对图像描述文本的编辑指令，获取图像描述文本编辑之后的目标描述文本；显示基于目标描述文本所生成的目标图像。上述方案，仅需用户根据实际需求对原始图像的图像描述文本进行编辑，便可基于编辑后的目标描述文本自动生成用户期望的目标图像，无需用户花费大量时间手动编辑原始图像，提高了生成目标图像的效率。