-
公开(公告)号:CN115393486B
公开(公告)日:2023-03-24
申请号:CN202211326581.9
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供了虚拟形象的生成方法、装置、设备及存储介质,具体实现方案为:确定待处理图像中目标人物的人脸形状特征和表情特征;基于人脸形状特征和表情特征,优化预设的初始三维真人脸部模型中的脸部形状参数和表情参数,得到第一人脸形状参数和第一表情参数;利用初始三维真人脸部模型与初始虚拟形象模型的映射关系,将第一人脸形状参数和第一表情参数迁移至初始虚拟形象模型中,得到目标虚拟形象模型;其中,初始三维真人脸部模型和初始虚拟形象模型均是由基础脸部模型以及脸部形状基和表情基而确定的模型;基于目标虚拟形象模型生成目标人物对应的虚拟形象。根据本申请的技术方案,能够有效减小生成的虚拟形象与真人形象之间差距。
-
公开(公告)号:CN115690359A
公开(公告)日:2023-02-03
申请号:CN202211326541.4
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种点云处理方法、装置、电子设备及存储介质,所述点云处理方法,包括:将目标对象的三维点云投影至预先构建的二维平面,获得所述二维平面中的与各个三维点云点对应的二维投影点;基于所述二维平面中的二维投影点,构建二维投影点网格;根据所述二维投影点网格,以及所述二维投影点与所述三维点云点之间的投影关系,获得所述三维点云的点云网格。该方法通过将三维点云投影至预先构建的二维平面,将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题,并在获得二维投影点网格后,根据二维投影点与三维点云点之间的对应关系,获得三维点云的点云网格,降低了点云网格的构建难度,提高了点云网格的构建效率。
-
公开(公告)号:CN115471618A
公开(公告)日:2022-12-13
申请号:CN202211327163.1
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种重定向方法、装置、电子设备和存储介质,方法包括基于目标对象的特定部位图像进行目标对象的特定部位三维重建,得到第一三维模型,并确定与目标对象对应的虚拟身份信息。其中,虚拟身份信息能够体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征。然后从第一三维模型中提取得到动作信息,该动作信息能够体现目标对象的特定部位图像中的目标对象的特定部位的动作特征。通过对虚拟身份信息和动作信息进行融合,得到携带动作信息的虚拟形象,由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的,能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。
-
公开(公告)号:CN115439614A
公开(公告)日:2022-12-06
申请号:CN202211326579.1
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种虚拟形象的生成方法、装置、电子设备和存储介质,能够从目标用户的音频数据中提取得到音素特征,以及从与音频数据同步的视频数据中提取得到面部表情特征。基于上述音素特征和面部表情特征,解算得到目标用户的面部表情参数序列。其中,面部动作较为复杂的部分集中在下半张脸的口唇区域,而用户说话的语音音素与口唇动作有较强的相关性,因此,本申请引入音素特征,根据音素特征和面部表情特征解算面部表情参数序列,利用面部表情参数序列驱动目标用户对应的三维虚拟形象模型生成的虚拟形象,能够精确还原目标用户面部的动作。
-
公开(公告)号:CN119323625B
公开(公告)日:2025-05-09
申请号:CN202411866722.5
申请日:2024-12-18
Applicant: 科大讯飞股份有限公司
IPC: G06T11/60 , G10L13/08 , G06V40/20 , G06F16/732 , G06F16/783
Abstract: 本申请提出一种合成视频的方法、电子设备及计算机程序产品。该合成视频的方法包括:获取包含第一虚拟对象的第一视频以及包含目标虚拟对象的肢体动作的第二视频,针对第一视频,去除目标视频段中第一虚拟对象的目标肢体部位,得到待合成视频,目标视频段为第一视频中对应动作插入时段的视频段;基于第二视频和目标视频段的时序对应关系,将第二视频各视频帧的目标肢体部位拼接到待合成视频各视频帧的目标肢体部位缺失处,生成合成视频。由于第二视频仅包含目标肢体部位,因此,可以做到虚拟对象与肢体动作的解耦。在虚拟对象为虚拟人物的情况下,制作第二视频/动作视频时,无需考虑人物主要身体部位的穿着打扮,甚至无需考虑人物的身份。
-
公开(公告)号:CN119922351A
公开(公告)日:2025-05-02
申请号:CN202411771790.3
申请日:2024-12-04
Applicant: 科大讯飞股份有限公司
IPC: H04N21/234 , G10L25/63 , G10L15/25 , G06T5/50
Abstract: 本申请提出一种视频生成方法、装置、电子设备和计算机程序产品,该方法能够基于复刻对象的音频和参考图像,生成复刻对象的虚拟形象视频。具体可以根据音频和参考图像,生成复刻对象口唇区域的动态图像,结合口唇区域的动态图像、参考图像和音频对应的情绪状态,得到复刻对象的动态图像;或者,从音频和参考图像中提取得到复刻特征,根据复刻特征和音频对应的情绪状态生成复刻对象的动态图像,然后根据音频和复刻对象的动态图像,生成复刻对象的虚拟形象视频,实现复刻特定对象的虚拟形象的目的。
-
公开(公告)号:CN119784879A
公开(公告)日:2025-04-08
申请号:CN202510279975.0
申请日:2025-03-11
Applicant: 科大讯飞股份有限公司
Abstract: 本发明涉及图像处理技术领域,提供了一种图像生成方法、装置、电子设备和存储介质,其中方法包括:获取图像描述文本,并确定所述图像描述文本中的领域知识和通用知识,以及领域知识和通用知识分别对应的路由权重;基于领域知识,从领域知识库中进行知识检索,得到参考图像;领域知识库动态更新;基于参考图像、通用知识,以及领域知识和通用知识分别对应的路由权重进行图像生成,得到生成的目标图像;其中,路由权重用于反映对应知识在目标图像上的呈现度,利用动态知识检索的优势进行特定领域的知识检索,可以为特定领域的知识生成提供参考,同时借助动态路由策略进行图像生成,不仅保证了生成的图像的准确性,也增强了多样性和细节丰富性。
-
公开(公告)号:CN117877052A
公开(公告)日:2024-04-12
申请号:CN202311829372.0
申请日:2023-12-26
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种交互式故事绘本生成方法、装置、电子设备及存储介质,该方法包括根据用户的输入构建锚点信息,其中所述锚点信息是与故事绘本内容生成相关的关键信息;基于所述锚点信息和用户个人信息生成并确认故事主人公,以及基于已确认的故事主人公和所述锚点信息生成故事标题,并根据用户交互指令改写或确认所述故事标题;基于已确认的所述故事标题,在预设数据库中抽取故事主旨,并基于所述故事标题和所述故事主旨生成一个段落的故事绘本内容;根据用户交互指令改写或续写下一个段落的故事绘本内容。本申请满足用户个性化需求并提供更丰富多样的故事体验。
-
公开(公告)号:CN117372574A
公开(公告)日:2024-01-09
申请号:CN202311378872.7
申请日:2023-10-23
Applicant: 科大讯飞股份有限公司 , 科大讯飞(苏州)科技有限公司
IPC: G06T11/60
Abstract: 本申请公开了一种图像编辑方法、装置、设备及可读存储介质,获取待编辑的图像和文本指令之后,先基于图像和文本指令,确定用于指示图像中的待编辑对象和文本指令的图像编辑表征,以及,用于指示待编辑对象中的待编辑区域的待编辑区域图;再基于图像编辑表征以及待编辑区域图对待编辑的图像的待编辑对象中的待编辑区域进行编辑,得到编辑后的图像。基于本方案,能够实现只对待编辑的图像中的局部进行编辑。
-
公开(公告)号:CN115690359B
公开(公告)日:2023-12-15
申请号:CN202211326541.4
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供一种点云处理方法、装置、电子设备及存储介质,所述点云处理方法,包括:将目标对象的三维点云投影至预先构建的二维平面,获得所述二维平面中的与各个三维点云点对应的二维投影点;基于所述二维平面中的二维投影点,构建二维投影点网格;根据所述二维投影点网格,以及所述二维投影点与所述三维点云点之间的投影关系,获得所述三维点云的点云网格。该方法通过将三维点云投影至预先构建的二维平面,将对三维点云的点云网格构建问题转化成了二维投影点网格构建问题,并在获得二维投影点网格后,根据二维投影点与三维点云点之间的对应关系,获得三维点云的点云网格,降低了点云网格的构建难度,提高了点云网格的构建效率。
-
-
-
-
-
-
-
-
-