基于深度学习的数字人面部驱动方法

    公开(公告)号:CN118379779B

    公开(公告)日:2024-10-22

    申请号:CN202410831374.1

    申请日:2024-06-26

    发明人: 朱光辉 赵衍维

    摘要: 本申请涉及数字人面部驱动技术领域,具体涉及基于深度学习的数字人面部驱动方法,该方法包括:采集目标数据点、模型数据点,获取各邻域数据点;获取法向量方向变异度;进而获取数字人面部方向梯度;计算各目标数据点的面部皱纹强度指数;计算面部肌肉表情强度指数,进而获取各模型数据点的脸肌区域内稀疏点云权重;基于面部肌肉表情强度指数和脸肌区域内稀疏点云权重对数字人面部进行驱动。本申请在保证计算速度的情况下提高表情驱动的真实感。

    基于语音识别的数字人嘴型智能驱动方法

    公开(公告)号:CN118212934B

    公开(公告)日:2024-09-06

    申请号:CN202410628938.1

    申请日:2024-05-21

    发明人: 朱光辉 王钦才

    IPC分类号: G10L21/10 G10L15/02 G10L15/16

    摘要: 本申请涉及语音识别技术领域,具体涉及基于语音识别的数字人嘴型智能驱动方法,该方法包括:采集低信噪比音频数据,分解后得到各音频分信号,分析低信噪比音频数据的分形维信号及各音频分信号的分形维信号中元素的分布,得到各分信号分形维语音特征度,获取各音频分信号的分形维信号各位置的分信号分形维突变度,结合各分信号分形维语音特征度及各分信号分形维突变度得到低信噪比音频数据各位置的原始信号突变点分布值,根据原始信号突变点分布值获取低信噪比音频数据的各音素向量,结合神经网络模型完成数字人嘴型智能驱动。本申请旨在提高低信噪比音频数据进行数字人嘴型驱动的准确度。

    一种语音驱动数字人的方法和系统

    公开(公告)号:CN118338092A

    公开(公告)日:2024-07-12

    申请号:CN202410750052.4

    申请日:2024-06-12

    发明人: 朱光辉 赵衍维

    摘要: 本发明公开了一种语音驱动数字人的交互方法和系统,其中该方法包括:设置关联关系,使得数字人行为音频数据、视频数据分别是人物音频数据、视频数据的一一对应的虚拟化表达;监听并识别预设语音指令,进入任务准备状态;当采集到的主播的人物行为视频数据与虚线框重合度未超过阈值,返回监听和识别预设语音指令步骤;当采集到的主播的人物行为视频数据与虚线框重合度超过阈值,则解除所述关联关系且数字人开始执行与预设语音指令对应的任务,在执行任务过程中,数字人行为音频数据、视频数据由其执行的所述任务确定。这样能够使得直播间输出内容固定、重复的情况下,提高直播任务完成效率。

    一种多数字分身管理方法和系统

    公开(公告)号:CN118338029B

    公开(公告)日:2024-09-10

    申请号:CN202410750051.X

    申请日:2024-06-12

    发明人: 朱光辉 赵衍维

    摘要: 本发明公开了一种多数字分身管理方法和系统,其中该方法包括:录制数字分身,针对多个不同直播内容设置对应的多个不同的第一直播脚本和第一交互接口;接收一个以上观众对于所要观看的直播内容的选择,向所述一个以上观众呈现直播内容对应的一个以上数字分身的直播行为;接收用户实时交互行为,基于所述第一交互接口识别所述实时交互行为并进行响应;若所述实时交互行为对应的交互数据未被所述第一交互接口所识别,则向主播推送所述实时交互行为对应的交互数据,主播设置用于响应所述实时交互行为的响应数据;基于响应数据更新所述第一交互接口,重新执行识别和响应步骤。如此,保证对于直播解说的观众体验的前提下有效提高与用户的交互效率。

    一种基于动作捕捉技术的数字人驱动方法及系统

    公开(公告)号:CN118135070A

    公开(公告)日:2024-06-04

    申请号:CN202410572208.4

    申请日:2024-05-10

    发明人: 朱光辉 赵衍维

    摘要: 本申请涉及图像数据处理技术领域,具体涉及一种基于动作捕捉技术的数字人驱动方法及系统,该方法包括:获取连续采集数字人体图像,得到每帧人体节点模型图像的关节点和肢体连线;基于肢体连线长度差异确定人体肢体连线垂直旋转强度;基于每帧图像中各节点的位置坐标,构建人体关节相对运动向量和绝对运动向量,计算帧间相对运动变异度、帧间绝对运动变异度和帧内绝对运动变异度,确定关节点姿态运动后验权重和人体整体运动后验权重,计算人体模型关节点修正位置卡尔曼增益,确定人体模型关节点修正位置,完成对数字人三维模型的驱动。从而在人体肢体遮挡的情况下获得正确的人体节点模型图,提高数字人驱动效果。

    船舶监控系统和电源电路

    公开(公告)号:CN108227596A

    公开(公告)日:2018-06-29

    申请号:CN201810196723.1

    申请日:2018-03-10

    发明人: 朱光辉 赵衍维

    IPC分类号: G05B19/042

    摘要: 本申请公开了一种船舶监控系统和电源电路,该船舶监控系统包括:控制器;GPS模块,连接于所述单片机,并将船舶的位置信息发送至单片机;通信模块,连接于所述单片机,至少将船舶的位置信息和油耗信息发送至地面;显示装置,连接于所述单片机,并显示当前的油耗信息和位置信息;电平转换芯片,连接于GPS模块并将GPS模块输出的TTL电平进行转换;电源,为控制器、GPS模块和显示装置提供3.3V电压,为电平转换芯片提供5V电压,为通信模块提供4.4V电压。本发明系统可以在不同的航段或水流环境下,获取最佳的油耗,实现节能减排;同时,本案所采用的系统,性能可靠,数据传输快,成本低。

    基于深度学习的数字人面部驱动方法

    公开(公告)号:CN118379779A

    公开(公告)日:2024-07-23

    申请号:CN202410831374.1

    申请日:2024-06-26

    发明人: 朱光辉 赵衍维

    摘要: 本申请涉及数字人面部驱动技术领域,具体涉及基于深度学习的数字人面部驱动方法,该方法包括:采集目标数据点、模型数据点,获取各邻域数据点;获取法向量方向变异度;进而获取数字人面部方向梯度;计算各目标数据点的面部皱纹强度指数;计算面部肌肉表情强度指数,进而获取各模型数据点的脸肌区域内稀疏点云权重;基于面部肌肉表情强度指数和脸肌区域内稀疏点云权重对数字人面部进行驱动。本申请在保证计算速度的情况下提高表情驱动的真实感。

    基于语音识别的数字人嘴型智能驱动方法

    公开(公告)号:CN118212934A

    公开(公告)日:2024-06-18

    申请号:CN202410628938.1

    申请日:2024-05-21

    发明人: 朱光辉 王钦才

    IPC分类号: G10L21/10 G10L15/02 G10L15/16

    摘要: 本申请涉及语音识别技术领域,具体涉及基于语音识别的数字人嘴型智能驱动方法,该方法包括:采集低信噪比音频数据,分解后得到各音频分信号,分析低信噪比音频数据的分形维信号及各音频分信号的分形维信号中元素的分布,得到各分信号分形维语音特征度,获取各音频分信号的分形维信号各位置的分信号分形维突变度,结合各分信号分形维语音特征度及各分信号分形维突变度得到低信噪比音频数据各位置的原始信号突变点分布值,根据原始信号突变点分布值获取低信噪比音频数据的各音素向量,结合神经网络模型完成数字人嘴型智能驱动。本申请旨在提高低信噪比音频数据进行数字人嘴型驱动的准确度。

    基于人工智能的无绿幕人像自动抠图方法

    公开(公告)号:CN118134955A

    公开(公告)日:2024-06-04

    申请号:CN202410552490.X

    申请日:2024-05-07

    发明人: 朱光辉 王钦才

    摘要: 本申请涉及图像数据处理技术领域,具体涉及基于人工智能的无绿幕人像自动抠图方法,该方法包括:获取需要进行抠图的人像图像,记为目标人像图像;获取目标人像图像的各感兴趣区域;计算各感兴趣区域的整体纹理密度因子;计算目标人像图像的各感兴趣区域的紧密性细节特征值;计算目标人像图像的各感兴趣区域的背景判断因子;计算目标人像图像中各感兴趣区域的尺度参数;实现无绿幕的人像自动抠图。本申请针对图像增强过程中可能出现的边缘过度锐化和不自然效果的问题,基于分析构建背景判断因子实现目标人像图像的有效增强,并结合神经网络完成无绿幕人像自动抠图。

    开关量采集电路和船舶数据采集系统

    公开(公告)号:CN108333991A

    公开(公告)日:2018-07-27

    申请号:CN201810182758.X

    申请日:2018-03-06

    发明人: 朱光辉 赵衍维

    IPC分类号: G05B19/042 G01D21/02

    摘要: 本申请公开了一种开关量采集电路和船舶数据采集系统,该开关量采集电路,包括依次设置于开关量输入端和机械开关之间的RC延时电路和反相器电路,所述RC延时电路包括第一电阻和电容,所述第一电阻串联在开关量输入端和反相器电路之间,所述电容的一端连接于所述第一电阻和反相器电路之间,电容的另一端接地,所述开关量采集电路包括第二电阻,该第二电阻的一端连接于所述第一电阻和反相器电路之间,第二电阻的另一端连接于一定值电压。本发明通过RC延时电路的延迟作用,可以控制对振荡脉冲的响应,使得反相器输入端的电位不会随着开关触点的抖动而急剧变化,可以消除抖动干扰。