-
公开(公告)号:CN112650869B
公开(公告)日:2022-12-06
申请号:CN202011535678.1
申请日:2020-12-23
Applicant: 科大讯飞股份有限公司
IPC: G06F16/538 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种图像检索重排序方法、装置、电子设备及存储介质,通过提取各候选图像中感兴趣区域,并确定各候选图像中感兴趣区域对应的前景特征,可以初步挖掘出各候选图像中可能包含的目标实例,减少背景噪声对重排序结果造成的影响;通过引入目标图像的图像特征与各候选图像中感兴趣区域对应的前景特征之间的相关性,可以有效利用前景特征确定出目标图像的查询特征向量;通过确定出的查询特征向量,对各候选图像进行重排序,可以使得重排序精度提高,重排序结果更准确。
-
公开(公告)号:CN115393945A
公开(公告)日:2022-11-25
申请号:CN202211327173.5
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种基于语音的图像驱动方法、装置、电子设备及存储介质,方法包括:预测目标语音对应的口唇偏移数据和目标语音对应的头部运动数据;根据目标语音对应的口唇偏移数据和目标语音对应的头部运动数据,对待驱动面部图像的各个面部关键点进行位置变换,得到待驱动面部图像的更新后的面部关键点位置;基于待驱动面部图像的更新后的面部关键点位置,生成驱动后的面部图像。采用本申请的技术方案,可以直接预测目标语音对应的口唇偏移数据和头部运动数据,然后根据口唇偏移数据和头部运动数据对待驱动面部图像进行驱动,无需利用目标语音对应的说话视频作为中间媒介,实现了端到端的语音驱动图像,提高了语音驱动图像的效率。
-
公开(公告)号:CN115393486A
公开(公告)日:2022-11-25
申请号:CN202211326581.9
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供了虚拟形象的生成方法、装置、设备及存储介质,具体实现方案为:确定待处理图像中目标人物的人脸形状特征和表情特征;基于人脸形状特征和表情特征,优化预设的初始三维真人脸部模型中的脸部形状参数和表情参数,得到第一人脸形状参数和第一表情参数;利用初始三维真人脸部模型与初始虚拟形象模型的映射关系,将第一人脸形状参数和第一表情参数迁移至初始虚拟形象模型中,得到目标虚拟形象模型;其中,初始三维真人脸部模型和初始虚拟形象模型均是由基础脸部模型以及脸部形状基和表情基而确定的模型;基于目标虚拟形象模型生成目标人物对应的虚拟形象。根据本申请的技术方案,能够有效减小生成的虚拟形象与真人形象之间差距。
-
公开(公告)号:CN115392216A
公开(公告)日:2022-11-25
申请号:CN202211326587.6
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
IPC: G06F40/205 , G06F40/289 , G06F16/335
Abstract: 本申请提供一种虚拟形象生成方法、装置、电子设备及存储介质,所述虚拟形象生成方法,在生成虚拟形象的过程中,基于对期望虚拟形象的描述文本的分析,获得了期望虚拟形象的整体形象描述文本和局部形象描述文本,实现了对所述描述文本的细粒度解耦,有利于从整体到局部的更全面把握虚拟形象的特征。之后,基于对整体形象描述文本和局部形象描述文本的联合预测,得到了参考了整体形象特征的、与所述局部形象描述文本对应的预测形象特征,即可以实现对预测虚拟形象的局部形象的控制,同时也考虑了预测虚拟形象的整体形象,提高了虚拟形象的局部形象与整体形象之间的关联,同时也提高了生成的虚拟形象的质量。
-
公开(公告)号:CN115390678A
公开(公告)日:2022-11-25
申请号:CN202211326573.4
申请日:2022-10-27
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种虚拟人交互方法、装置、电子设备及存储介质,通过对目标对象的音视频数据进行视线追踪和情感分析,确定目标对象的视线轨迹特征和情感状态;根据目标对象的情感状态和虚拟形象的当前情感状态,预测虚拟形象的下一时刻情感状态;根据目标对象和虚拟形象的视线轨迹特征、目标对象的情感状态、虚拟形象的下一时刻情感状态、虚拟形象当前时刻的交互状态参数,预测虚拟形象下一时刻的交互状态参数,交互状态参数包括视线方向。本方案基于目标对象的情感状态与虚拟形象的情感状态,对目标对象和虚拟形象进行视线交互预测,实现了虚拟形象与目标对象在不同情感状态下的视线交互,提高了目标对象与虚拟形象的交互真实感和交互体验。
-
公开(公告)号:CN114913303A
公开(公告)日:2022-08-16
申请号:CN202210395741.9
申请日:2022-04-14
Applicant: 科大讯飞股份有限公司
Abstract: 本申请公开了一种虚拟形象生成方法及相关装置、电子设备、存储介质,其中,虚拟形象生成方法包括:获取用户对期望虚拟形象的描述文本,并获取若干形象特征;基于各形象特征分别与描述文本的文本特征进行形象生成,得到候选虚拟形象;响应于用户选择候选虚拟形象作为目标虚拟形象,获取符合目标虚拟形象的特征分布的特征表示作为新的形象特征;基于新的形象特征和文本特征生成最终虚拟形象。上述方案,能够在满足个性化的虚拟形象生成需求基础上,减少虚拟形象生成的时长和成本,并降低对硬件设备的要求。
-
公开(公告)号:CN114359517A
公开(公告)日:2022-04-15
申请号:CN202111404407.7
申请日:2021-11-24
Applicant: 科大讯飞股份有限公司
Abstract: 本发明公开了虚拟形象生成方法、虚拟形象生成系统和计算设备,该方法包括:基于从用户获取的输入语音数据,得到与所述输入语音数据相对应的回答语音数据的语音特征;基于每一帧所述回答语音数据的语音特征,得到包含人脸特征点的人脸掩模图像;基于从用户获取的至少两个参考人脸图像,得到用于虚拟形象的五官特征;以及基于所述包含人脸特征点的人脸掩模图像与所述五官特征,得到与当前帧的所述回答语音数据相对应的所述虚拟形象。本发明能够自动实现多人五官的融合,避免使用同一个人五官带来的法律风险,无需人工参与,即可实现个性化、逼真的虚拟形象设计,耗时短、成本低,且可以输出与语音匹配的唇形和表情,提高了虚拟形象的表现力。
-
公开(公告)号:CN114332125A
公开(公告)日:2022-04-12
申请号:CN202111656099.7
申请日:2021-12-30
Applicant: 科大讯飞股份有限公司
Abstract: 本发明提供一种点云重建方法、装置、电子设备和存储介质,其中方法包括:基于目标相机和邻域相机的位姿信息,确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像;基于候选图像与待重建图像之间的相似度,从候选图像中确定待重建图像的配对图像;基于待重建图像和配对图像的位置信息,以及目标相机和邻域相机的位姿信息,确定待重建图像的深度信息,并基于待重建图像的深度信息进行点云重建,克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷,能够在已知点云的基础上,通过设定区域范围,可以点云层面上对场景进行划分,从而实现对特定区域的点云重建,并且还为后续的网格化操作提供了极大的便利。
-
公开(公告)号:CN114173067A
公开(公告)日:2022-03-11
申请号:CN202111574773.7
申请日:2021-12-21
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提出一种视频生成方法、装置、设备及存储介质,该方法包括:通过从预先构建的视频资源库中确定与视频剧本中的各个剧本关键词相匹配的视频资源,确定与各个剧本关键词一一对应的各个播放标签;所述播放标签中至少包括与剧本关键词相匹配的视频资源的索引信息;根据各个播放标签对应的视频资源,确定特效标签;所述特效标签中包括视频资源播放特效标签和/或相邻视频资源之间的视频转场特效标签;至少根据各个播放标签和所述特效标签进行视频剪辑处理,得到视频文件。采用该方法能够自动生成视频文件,从而能够降低视频制作的人力成本和时间成本。
-
公开(公告)号:CN109840485B
公开(公告)日:2021-10-08
申请号:CN201910063138.9
申请日:2019-01-23
Applicant: 科大讯飞股份有限公司
Abstract: 本申请提供了一种微表情特征提取方法、装置、设备及可读存储介质,其中,微表情特征提取方法包括:获取包含人脸区域的目标图像,其中,目标图像为待提取微表情特征的单幅图像,或者为待提取微表情特征的多幅图像中的任一幅图像,或者为待提取微表情特征的视频中的任一帧图像;从目标图像获取微表情预测特征,其中,微表情预测特征为目标图像中与微表情有关的特征;根据微表情预测特征和预先构建的微表情特征提取模型,确定目标图像中人脸的目标微表情特征。本申请提供的微表情特征提取方法能够从包含人脸区域的目标图像中提取出准确有效的微表情特征。
-
-
-
-
-
-
-
-
-