基于虚拟现实的智能交互方法及设备

    公开(公告)号:CN117891350A

    公开(公告)日:2024-04-16

    申请号:CN202410222547.X

    申请日:2024-02-28

    摘要: 本申请涉及虚拟现实技术领域,公开了一种基于虚拟现实的智能交互方法及设备。所述方法包括:获取第一虚拟交互视频数据并进行图像分帧和交互部位特征点检测,进行特征点运动加速度分析和非线性空间映射,得到非线性空间映射数据,并进行聚类和去噪,得到目标聚类结果;进行虚拟交互意图识别和智能交互控制建模,得到初始虚拟环境交互控制模型;获取第二虚拟交互视频数据进行图像关键点识别,得到目标中心关键点热图;进行虚拟现实环境交互控制和特征提取,得到反馈响应评价参数特征;生成控制模型参数更新策略并进行模型参数更新,得到定制化虚拟环境交互控制模型,进而提高虚拟现实交互终端控制的准确率。

    基于机器学习的人物面部表情捕捉方法及系统

    公开(公告)号:CN117197878A

    公开(公告)日:2023-12-08

    申请号:CN202311465863.1

    申请日:2023-11-07

    摘要: 本发明公开了一种基于机器学习的人物面部表情捕捉方法及系统,涉及面部表情捕捉技术领域。其首先通过摄像头采集人脸图像,接着,通过基于深度神经网络模型的人脸特征提取器对所述人脸图像进行特征提取以得到人脸浅层特征图、人脸中层特征图和人脸深层特征图,然后,融合所述人脸浅层特征图、所述人脸中层特征图和所述人脸深层特征图以得到多尺度语义融合人脸特征,最后,基于所述多尺度语义融合人脸特征,生成数字人的角色面部表情驱动指令。这样,可以以用户面部表情数据来驱动数字角色面部,以增强虚拟现实体验的沉浸感和交互性。

    基于音频驱动角色口型的方法及系统

    公开(公告)号:CN116994600B

    公开(公告)日:2023-12-12

    申请号:CN202311264980.1

    申请日:2023-09-28

    IPC分类号: G10L21/10 G10L25/03 G10L25/30

    摘要: 本申请公开了一种基于音频驱动角色口型的方法及系统。其首先获取数字人驱动音频,接着,对所述数字人驱动音频进行语音波形特征提取以得到驱动音频波形语义全局特征向量,然后,基于所述驱动音频波形语义全局特征向量,生成数字人口型驱动控制指令。其中,对所述数字人驱动音频进行语音波形特征提取以得到驱动音频波形语义全局特征向量,包括:对所述数字人驱动音频进行数据预处理以得到驱动音频片段的序列;以及,从所述驱动音频片段的序列中提取音频语义特征以得到所述驱动音频波形语义全局特征向量。这样,可以利用深度神经网络从音频信号中提取出语音特征,并将这些特征自动化地映射到角色的口型参数上,从而实现音

    一种高效率三维动漫生产方法
    5.
    发明公开

    公开(公告)号:CN110473276A

    公开(公告)日:2019-11-19

    申请号:CN201910571493.7

    申请日:2019-06-28

    IPC分类号: G06T13/20 G06T17/00 G06T15/00

    摘要: 本发明实施例公开了一种高效率三维动漫生产方法,包括如下步骤:步骤100、原画设计;步骤200、三维动漫的素材制作;步骤300、基于制作的素材进行Layout镜头预演捕捉角色特征,完成三维动画的制作;步骤400、三维动画的合成和校色,再进行剪辑和混音,并输出成片。本发明基于角色智能生成引擎,同拓扑UV技术,材质贴图技术,一键绑定系统,一键表情系统,动态镜头快照系统,口型智能生成系统,动作捕捉,表情动作捕捉,动力学模拟系统,GPU物理光照等尖端技术,使得三维动画的技术瓶颈大幅降低,大大提高了三维动画的生产效率,降低了制作成本。

    基于人工智能的视频剪辑处理方法及系统

    公开(公告)号:CN118378158A

    公开(公告)日:2024-07-23

    申请号:CN202410182301.4

    申请日:2024-02-19

    摘要: 本发明公开了一种基于人工智能的视频剪辑处理方法及系统,涉及视频剪辑处理领域;其首先对待剪辑视频中的各个图像帧进行内容识别以得到各个图像帧的内容描述,接着,从所述待剪辑视频获取第一视频剪辑方案并对其各个图像帧的内容描述进行语义关联编码以得到第一视频剪辑方案语义编码特征向量,对视频剪辑需求文本描述进行语义编码以得到视频剪辑需求文本语义理解特征向量,基于对所述第一视频剪辑方案语义编码特征向量和所述视频剪辑需求文本语义理解特征向量进行语义特征交互关联分析得到的视频剪辑需求‑视频剪辑方案语义交互特征确定视频剪辑需求与第一视频剪辑方案之间的适配度是否超过预定阈值。这样,可以为用户提供更好的观看体验。

    用于人机交互的虚拟人物表情控制方法及系统

    公开(公告)号:CN117133277B

    公开(公告)日:2024-01-05

    申请号:CN202311360473.8

    申请日:2023-10-20

    摘要: 本发明涉及数据处理技术领域,公开了一种用于人机交互的虚拟人物表情控制方法及系统,用于提高用于人机交互的虚拟人物表情控制的准确率。包括:对每个标准语音命令数据的可信度分数进行非线性变换,获得每个标准语音命令数据与对应表情模式的关联可信度分数;建立每个标准语音命令数据与对应表情模式的邻接矩阵,得到多个邻接矩阵;对每个邻接矩阵进行拉普拉斯标准化处理,得到多个标准化矩阵;对多个标准化矩阵进行扩张卷积,得到多个扩展感受野数据,构建命令识别模型;采集用户语音命令数据,对用户语音命令数据进行识别,获得表情模式流数据,并通过表情模式流数据对虚拟人物进行表情控制。

    用于人机交互的虚拟人物表情控制方法及系统

    公开(公告)号:CN117133277A

    公开(公告)日:2023-11-28

    申请号:CN202311360473.8

    申请日:2023-10-20

    摘要: 本发明涉及数据处理技术领域,公开了一种用于人机交互的虚拟人物表情控制方法及系统,用于提高用于人机交互的虚拟人物表情控制的准确率。包括:对每个标准语音命令数据的可信度分数进行非线性变换,获得每个标准语音命令数据与对应表情模式的关联可信度分数;建立每个标准语音命令数据与对应表情模式的邻接矩阵,得到多个邻接矩阵;对每个邻接矩阵进行拉普拉斯标准化处理,得到多个标准化矩阵;对多个标准化矩阵进行扩张卷积,得到多个扩展感受野数据,构建命令识别模型;采集用户语音命令数据,对用户语音命令数据进行识别,获得表情模式流数据,并通过表情模式流数据对虚拟人物进行表情控制。

    基于人工智能的语音交互方法及系统

    公开(公告)号:CN117012198A

    公开(公告)日:2023-11-07

    申请号:CN202311265089.X

    申请日:2023-09-28

    摘要: 本发明涉及人工智能领域,公开了一种基于人工智能的语音交互方法及系统,用于提高三维动画生成的准确率并且提升三维动画的动画效果。方法包括:获取目标语音交互数据并确定初始三维动画数据,对目标语音交互数据进行音频交互指令提取,得到多个目标音频交互指令;对初始三维动画数据进行动画序列分割,得到多个初始动画序列,并对多个目标音频交互指令与多个初始动画序列进行映射匹配,生成多个动画音频序列组合;将多个动画音频序列组合输入三维动画处理模型进行三维动画特征提取和音频指令分析,生成多个目标动画序列;对多个目标动画序列进行动作类别分类以及设置多个目标动画序列之间的动画切换参数,生成对应的目标三维动画数据。

    一种用于表情捕捉的人脸识别系统和方法

    公开(公告)号:CN112232310A

    公开(公告)日:2021-01-15

    申请号:CN202011425666.3

    申请日:2020-12-09

    摘要: 本发明公开了一种用于表情捕捉的人脸识别系统和方法,包括人脸图像采集系统和面部特征识别模块;真实三维面部重建系统用于根据人脸图像采集系的结构光成像原理建立三维立体面部模型,同时重新确立三维立体面部模型的三维坐标系;虚拟人物三维模型系统用于在同一个三维坐标系建立立体虚拟轮廓且在立体虚拟轮廓的内部填充虚拟特征部位;姿态匹配模块用于选定每个面部特征部位的多个主动选择特征点并确定比例关系;特征点关联模块用于根据比例关系确定被动选择特征点;表情动态追踪模块将主动选择特征点按照比例关系确定虚拟特征部位的被动选择特征点在三维坐标系的三维坐标变化;本发明通过人脸识别技术保证真实人脸与虚拟人物面部特征的相似性。