-
公开(公告)号:CN116152447A
公开(公告)日:2023-05-23
申请号:CN202310431115.5
申请日:2023-04-21
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种人脸建模方法、装置、电子设备及存储介质,所述人脸建模方法,包括:获得包含目标人脸的影像数据;利用预先训练的面部参数处理模型,对所述影像数据中的目标人脸进行参数化建模,得到所述目标人脸的面部参数;其中,所述面部参数处理模型至少基于样本影音数据中的人脸影像数据,以及与所述人脸影像数据对应的语音数据进行人脸参数建模训练得到。该方法通过样本影音数据中的人脸影像数据,以及与所述人脸影像数据对应的语音数据进行人脸参数建模,训练能够基于包含目标人脸的影像数据,获得目标人脸的面部参数的面部参数处理模型,使得所述面部参数处理模型能够学习到二维图像中缺失的、而在语音空间中存在的信息。
-
公开(公告)号:CN119784879A
公开(公告)日:2025-04-08
申请号:CN202510279975.0
申请日:2025-03-11
Applicant: 科大讯飞股份有限公司
Abstract: 本发明涉及图像处理技术领域,提供了一种图像生成方法、装置、电子设备和存储介质,其中方法包括:获取图像描述文本,并确定所述图像描述文本中的领域知识和通用知识,以及领域知识和通用知识分别对应的路由权重;基于领域知识,从领域知识库中进行知识检索,得到参考图像;领域知识库动态更新;基于参考图像、通用知识,以及领域知识和通用知识分别对应的路由权重进行图像生成,得到生成的目标图像;其中,路由权重用于反映对应知识在目标图像上的呈现度,利用动态知识检索的优势进行特定领域的知识检索,可以为特定领域的知识生成提供参考,同时借助动态路由策略进行图像生成,不仅保证了生成的图像的准确性,也增强了多样性和细节丰富性。
-
公开(公告)号:CN117372574A
公开(公告)日:2024-01-09
申请号:CN202311378872.7
申请日:2023-10-23
Applicant: 科大讯飞股份有限公司 , 科大讯飞(苏州)科技有限公司
IPC: G06T11/60
Abstract: 本申请公开了一种图像编辑方法、装置、设备及可读存储介质,获取待编辑的图像和文本指令之后,先基于图像和文本指令,确定用于指示图像中的待编辑对象和文本指令的图像编辑表征,以及,用于指示待编辑对象中的待编辑区域的待编辑区域图;再基于图像编辑表征以及待编辑区域图对待编辑的图像的待编辑对象中的待编辑区域进行编辑,得到编辑后的图像。基于本方案,能够实现只对待编辑的图像中的局部进行编辑。
-
公开(公告)号:CN117177025A
公开(公告)日:2023-12-05
申请号:CN202311030930.7
申请日:2023-08-14
Applicant: 科大讯飞股份有限公司
Inventor: 刘聪 , 徐浩然 , 高建清 , 姚仕豪 , 何山 , 郜静文 , 杨硕 , 殷保才 , 殷兵 , 刘烨秋 , 付新勇 , 王雨露 , 张若楠 , 管广鹏 , 吕磊 , 陈付国 , 金左雨 , 董飞 , 胡国平 , 魏思 , 王士进 , 刘权
IPC: H04N21/81 , H04N21/44 , G10L13/027 , G10L13/08
Abstract: 本申请公开了一种视频生成方法、装置、设备和存储介质,其中,视频生成方法包括:基于用户关于期望输出文稿的语音数据,得到对应的识别文本;获取原始图像和用于指示视频生成的第一描述文本;获取至少响应于所述第一描述文本而生成的文案文本;获取由所述文案文本合成得到的视频配音;至少基于所述原始图像和所述视频配音,生成目标视频。通过该方式,能够缩短视频制作的时间,降低视频制作的成本,提高视频制作的工作效率。
-
公开(公告)号:CN117032869A
公开(公告)日:2023-11-10
申请号:CN202311030903.X
申请日:2023-08-14
Applicant: 科大讯飞股份有限公司
IPC: G06F9/451 , G06T11/60 , G06F40/106
Abstract: 本申请公开了一种图文内容生成方法、装置、设备及存储介质,本申请获取需要生成配图的文本信息,从文本信息中获取到关键信息,作为生成配图时的参考文本信息。调用预配置的文图生成模型,借助文图生成模型强大的基于文本生成匹配语义的图片的能力,可以基于获取的关键信息生成与关键信息匹配的图片,融合文本信息与生成的图片,得到图文内容。本申请方案借助AI文图生成模型的能力,可以自动生成与文本信息匹配的图片,且鉴于文图生成模型所生成图片的多样性和文本一致性,可以保证生成的图片的质量且与文本信息的语义是匹配的,最终得到内容质量较高的图文内容,整个过程不依赖于纸质书籍,生成成本大幅降低。
-
公开(公告)号:CN115393487B
公开(公告)日:2023-05-12
申请号:CN202211327162.7
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质,所述虚拟角色模型处理方法,在获得具有目标纹理的参考图像,以及虚拟角色三维模型的二维图像后,基于对参考图像的纹理编码和对二维图像的结构编码,获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码,保证了纹理特征和结构特征的精确解耦,从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中,参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型,有效的保证了虚拟角色三维模型的纹理真实性。
-
公开(公告)号:CN116188649B
公开(公告)日:2023-10-13
申请号:CN202310472056.6
申请日:2023-04-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种基于语音的三维人脸模型驱动方法及相关装置,基于目标语音的语音特征和目标情绪特征,按照偏移预测参数,进行三维模型顶点偏移预测,按照预测得到的三维模型顶点偏移数据,驱动三维基础模型,得到目标语音对应的三维人脸动画。偏移预测参数是通过样本视频对应的4D合成数据、音频特征和情绪特征,进行三维模型顶点偏移预测处理而确定的;4D合成数据是将样本视频的每帧图像对应的三维重建人脸模型,按照样本视频的帧率合成的数据。本方案将样本视频的每帧图像重建为三维人脸模型得到的4D合成数据作为确定偏移预测参数的样本数据,提高了样本数据的数据量和情绪多样性,从而提高了语音驱动三维人脸模型的准确度和情绪化效果。
-
公开(公告)号:CN115393487A
公开(公告)日:2022-11-25
申请号:CN202211327162.7
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质,所述虚拟角色模型处理方法,在获得具有目标纹理的参考图像,以及虚拟角色三维模型的二维图像后,基于对参考图像的纹理编码和对二维图像的结构编码,获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码,保证了纹理特征和结构特征的精确解耦,从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中,参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型,有效的保证了虚拟角色三维模型的纹理真实性。
-
-
-
-
-
-
-