-
公开(公告)号:CN114900714B
公开(公告)日:2023-11-21
申请号:CN202210382403.1
申请日:2022-04-12
Applicant: 科大讯飞股份有限公司
IPC: H04N21/234 , H04N19/42 , H04N19/44 , G06T9/00 , G06N3/0455 , G06N3/08
-
公开(公告)号:CN117032869A
公开(公告)日:2023-11-10
申请号:CN202311030903.X
申请日:2023-08-14
Applicant: 科大讯飞股份有限公司
IPC: G06F9/451 , G06T11/60 , G06F40/106
Abstract: 本申请公开了一种图文内容生成方法、装置、设备及存储介质,本申请获取需要生成配图的文本信息,从文本信息中获取到关键信息,作为生成配图时的参考文本信息。调用预配置的文图生成模型,借助文图生成模型强大的基于文本生成匹配语义的图片的能力,可以基于获取的关键信息生成与关键信息匹配的图片,融合文本信息与生成的图片,得到图文内容。本申请方案借助AI文图生成模型的能力,可以自动生成与文本信息匹配的图片,且鉴于文图生成模型所生成图片的多样性和文本一致性,可以保证生成的图片的质量且与文本信息的语义是匹配的,最终得到内容质量较高的图文内容,整个过程不依赖于纸质书籍,生成成本大幅降低。
-
公开(公告)号:CN115393487B
公开(公告)日:2023-05-12
申请号:CN202211327162.7
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质,所述虚拟角色模型处理方法,在获得具有目标纹理的参考图像,以及虚拟角色三维模型的二维图像后,基于对参考图像的纹理编码和对二维图像的结构编码,获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码,保证了纹理特征和结构特征的精确解耦,从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中,参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型,有效的保证了虚拟角色三维模型的纹理真实性。
-
公开(公告)号:CN115996303A
公开(公告)日:2023-04-21
申请号:CN202310290547.9
申请日:2023-03-23
Applicant: 科大讯飞股份有限公司
IPC: H04N21/44 , G06V40/16 , G06V10/80 , G06N3/0442 , G06N3/094 , H04N21/439 , H04N21/472 , G10L25/57
Abstract: 本发明涉及图像处理技术领域,提供一种视频生成方法、装置、电子设备和存储介质。方法包括:获取混合语音和多人画面,并对所述多人画面进行人脸检测,获得多个人脸图像,所述混合语音包括至少一人的语音;基于所述多个人脸图像的图像特征和所述混合语音的语音特征,生成多个目标人脸图像组,任一所述目标人脸图像组包括一个人在不同帧的目标人脸图像;将所述多个目标人脸图像组与所述多人画面进行融合,得到多帧目标多人同屏画面,并将所述多帧目标多人同屏画面与所述混合语音进行融合,得到多人会话视频。本发明无需对多个人的视频进行合成即可自动生成多人同屏的多人会话视频,从而节省人工成本,提高多人会话视频的制作效率。
-
公开(公告)号:CN115375809A
公开(公告)日:2022-11-22
申请号:CN202211310590.9
申请日:2022-10-25
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供了虚拟形象的生成方法、装置、设备及存储介质,具体实现方案为:基于获取到的表达信息确定情绪特征以及脸部特征;基于所述情绪特征对特定视频序列进行情绪编辑处理,得到具有所述情绪特征的视频序列;其中,所述特定视频序列,包括特定对象的包含脸部的视频序列;至少基于具有所述情绪特征的视频序列以及所述脸部特征,生成目标对象的虚拟形象。根据本申请的技术方案,能够有效解决生成的虚拟形象表达情绪单一的问题。
-
公开(公告)号:CN114900714A
公开(公告)日:2022-08-12
申请号:CN202210382403.1
申请日:2022-04-12
Applicant: 科大讯飞股份有限公司
Abstract: 本申请公开一种基于神经网络的视频生成方法及相关装置。视频生成方法包括:获取素材文件,其中所述素材文件包括语音文件、文本文件以及图像文件中的至少一种;将所述素材文件输入视频生成神经网络,通过所述视频生成神经网络对所述素材文件生成压缩视频数据;其中,所述压缩视频数据中至少部分视频帧的表征依赖于其他视频帧。通过上述方案可以节省编码计算量,提高视频生成网络本身的运行效率和生成视频流的质量。
-
公开(公告)号:CN114359446A
公开(公告)日:2022-04-15
申请号:CN202111658559.X
申请日:2021-12-30
Applicant: 科大讯飞股份有限公司
Abstract: 本申请公开了一种动画绘本生成方法、装置、设备和存储介质,该方法包括:识别静态绘本中的若干对象以及若干文本;确定各对象以及各文本之间的对应关系,其中,对应关系表示文本由与文本对应的对象讲述;生成各文本的语音数据,以及确定各文本对应的对象的画面变化内容,其中,画面变化内容表示在播放文本对应的语音数据过程中对象的预设部位的变化;基于语音数据和画面变化内容,生成静态绘本对应的动画绘本数据。通过上述方式,本申请能够将绘本中的静态人物转化为能说会动的动画人物。
-
公开(公告)号:CN114357135A
公开(公告)日:2022-04-15
申请号:CN202111672307.2
申请日:2021-12-31
Applicant: 科大讯飞股份有限公司
IPC: G06F16/332 , G06F16/338 , G06F16/33 , G06V40/16 , G06F40/295 , G06K9/62 , G06V10/774
Abstract: 本申请公开了交互方法、交互装置、电子设备以及存储介质,其中,该交互方法包括:获取到用户的问询文本以及面部表情,并确定用户当前的情感类型标签;基于问询文本与情感类型标签确定问询文本的回复文本,并基于问询文本以及回复文本形成对话文本;利用对话文本以及情感类型标签得到与情感类型标签匹配的情感回应数据;将情感回应数据加载到虚拟形象中,以对用户做出带有情感的交互响应。通过上述方案,本申请交互方法对应的虚拟形象能够进行类人的情感表达,从而能够使用户对应获得更自然,更具趣味性的交互体验。
-
公开(公告)号:CN114332377A
公开(公告)日:2022-04-12
申请号:CN202111675879.6
申请日:2021-12-31
Applicant: 科大讯飞股份有限公司
IPC: G06T17/00
Abstract: 本申请实施例公开了一种对象模型的确定方法和相关装置,在针对目标三维对象扫描得到非参数化模型后,使用具有驱动参数的初始参数化模型进行模型顶点扩充,以得到具有和非参数化模型接近的模型顶点数量的注册三维模型。再进行姿态对齐以得到对齐三维模型,对齐三维模型和非参数化模型处于同一姿态下,以此能够确定出相对于非参数化模型的模型顶点偏移参数,通过基于模型顶点偏移参数对该对齐三维模型的调整,得到目标三维对象的目标参数化模型,该目标参数化模型不仅具有与非参数化模型接近的外形精度,而且还具有可用于驱动的驱动参数,实现对扫描得到的高精度非参数化模型向参数化模型的自动化转化,提高了高精度参数化模型的生成效率和精度。
-
公开(公告)号:CN114299225A
公开(公告)日:2022-04-08
申请号:CN202111524469.1
申请日:2021-12-14
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种动作图像生成方法、模型构建方法、计算机设备及存储介质,其中,该模型构建方法包括:获取目标人物的第一图像集和第二图像集,第一图像集和第二图像集包括关于目标人物动作的序列图像;根据第一图像集的序列图像进行三维重建,得到多个第一3D模型;获取目标人物的纹理图,根据纹理图对所述多个第一3D模型进行贴图,得到多个纹理贴图;对多个第一3D模型进行投影,得到多个2D投影图像;根据第二图像集的序列图像、2D投影图像和纹理贴图构建动作生成模型。该动作生成模型可以生成更为真实的动作图像,即动作图像包括更多细节,由此可以提高用户的体验度。
-
-
-
-
-
-
-
-
-