一种人脸建模方法、装置、电子设备及存储介质

    公开(公告)号:CN116152447A

    公开(公告)日:2023-05-23

    申请号:CN202310431115.5

    申请日:2023-04-21

    Abstract: 本申请提供一种人脸建模方法、装置、电子设备及存储介质,所述人脸建模方法,包括:获得包含目标人脸的影像数据;利用预先训练的面部参数处理模型,对所述影像数据中的目标人脸进行参数化建模,得到所述目标人脸的面部参数;其中,所述面部参数处理模型至少基于样本影音数据中的人脸影像数据,以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。该方法通过样本影音数据中的人脸影像数据,以及与所述人脸影像数据对应的语音数据进行人脸参数建模,训练能够基于包含目标人脸的影像数据,获得目标人脸的面部参数的面部参数处理模型,使得所述面部参数处理模型能够学习到二维图像中缺失的、而在语音空间中存在的信息。

    图像生成方法、装置、电子设备和存储介质

    公开(公告)号:CN119784879A

    公开(公告)日:2025-04-08

    申请号:CN202510279975.0

    申请日:2025-03-11

    Abstract: 本发明涉及图像处理技术领域,提供了一种图像生成方法、装置、电子设备和存储介质,其中方法包括:获取图像描述文本,并确定所述图像描述文本中的领域知识和通用知识,以及领域知识和通用知识分别对应的路由权重;基于领域知识,从领域知识库中进行知识检索,得到参考图像;领域知识库动态更新;基于参考图像、通用知识,以及领域知识和通用知识分别对应的路由权重进行图像生成,得到生成的目标图像;其中,路由权重用于反映对应知识在目标图像上的呈现度,利用动态知识检索的优势进行特定领域的知识检索,可以为特定领域的知识生成提供参考,同时借助动态路由策略进行图像生成,不仅保证了生成的图像的准确性,也增强了多样性和细节丰富性。

    图文内容生成方法、装置、设备及存储介质

    公开(公告)号:CN117032869A

    公开(公告)日:2023-11-10

    申请号:CN202311030903.X

    申请日:2023-08-14

    Abstract: 本申请公开了一种图文内容生成方法、装置、设备及存储介质,本申请获取需要生成配图的文本信息,从文本信息中获取到关键信息,作为生成配图时的参考文本信息。调用预配置的文图生成模型,借助文图生成模型强大的基于文本生成匹配语义的图片的能力,可以基于获取的关键信息生成与关键信息匹配的图片,融合文本信息与生成的图片,得到图文内容。本申请方案借助AI文图生成模型的能力,可以自动生成与文本信息匹配的图片,且鉴于文图生成模型所生成图片的多样性和文本一致性,可以保证生成的图片的质量且与文本信息的语义是匹配的,最终得到内容质量较高的图文内容,整个过程不依赖于纸质书籍,生成成本大幅降低。

    一种虚拟角色模型处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115393487B

    公开(公告)日:2023-05-12

    申请号:CN202211327162.7

    申请日:2022-10-27

    Abstract: 本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质,所述虚拟角色模型处理方法,在获得具有目标纹理的参考图像,以及虚拟角色三维模型的二维图像后,基于对参考图像的纹理编码和对二维图像的结构编码,获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码,保证了纹理特征和结构特征的精确解耦,从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中,参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型,有效的保证了虚拟角色三维模型的纹理真实性。

    基于语音的三维人脸模型驱动方法及相关装置

    公开(公告)号:CN116188649B

    公开(公告)日:2023-10-13

    申请号:CN202310472056.6

    申请日:2023-04-27

    Abstract: 本申请提出一种基于语音的三维人脸模型驱动方法及相关装置,基于目标语音的语音特征和目标情绪特征,按照偏移预测参数,进行三维模型顶点偏移预测,按照预测得到的三维模型顶点偏移数据,驱动三维基础模型,得到目标语音对应的三维人脸动画。偏移预测参数是通过样本视频对应的4D合成数据、音频特征和情绪特征,进行三维模型顶点偏移预测处理而确定的;4D合成数据是将样本视频的每帧图像对应的三维重建人脸模型,按照样本视频的帧率合成的数据。本方案将样本视频的每帧图像重建为三维人脸模型得到的4D合成数据作为确定偏移预测参数的样本数据,提高了样本数据的数据量和情绪多样性,从而提高了语音驱动三维人脸模型的准确度和情绪化效果。

    一种虚拟角色模型处理方法、装置、电子设备及存储介质

    公开(公告)号:CN115393487A

    公开(公告)日:2022-11-25

    申请号:CN202211327162.7

    申请日:2022-10-27

    Abstract: 本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质,所述虚拟角色模型处理方法,在获得具有目标纹理的参考图像,以及虚拟角色三维模型的二维图像后,基于对参考图像的纹理编码和对二维图像的结构编码,获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码,保证了纹理特征和结构特征的精确解耦,从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中,参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型,有效的保证了虚拟角色三维模型的纹理真实性。

Patent Agency Ranking