一种虚拟数字人驱动方法、装置、设备和介质

    公开(公告)号:CN118891616A

    公开(公告)日:2024-11-01

    申请号:CN202380027498.8

    申请日:2023-03-01

    Abstract: 涉及一种虚拟数字人驱动方法、装置、设备和介质,包括:获取用户信息,用户信息包括语音信息和图像信息;根据用户信息,确定用户意图和用户情感;根据用户意图确定虚拟数字人的回复文本,以及根据用户意图和用户情感确定虚拟数字人的回复情感;根据回复文本确定虚拟数字人肢体动作,以及根据回复情感确定虚拟数字人情感表达方式,实现自然拟人化的虚拟人交互状态,提高虚拟数字人的拟真性和表达自然度。

    一种服务器、终端设备及模型压缩方法

    公开(公告)号:CN117892778A

    公开(公告)日:2024-04-16

    申请号:CN202311846581.6

    申请日:2023-12-29

    Inventor: 王敏 杨善松

    Abstract: 本申请一些实施例示出一种服务器、终端设备及模型压缩方法,所述方法包括:获取目标模型,所述目标模型为参数超过预设值的模型;对所述目标模型进行权重量化,得到量化权重;确定量化权重误差为所述目标模型的目标权重和所述量化权重之差;根据所述量化权重误差确定所述近似权重误差,所述近似权重误差小于所述量化权重误差;确定补偿权重为所述量化权重与所述近似权重误差之和;训练所述补偿权重对应的权重补偿模型,得到压缩模型。本申请实施例在对模型进行量化后,通过低秩分解技术增加少量权重,弥补模型量化后的性能损失,同时,无需剪枝算法等所需要的额外显存。

    声源定位方法、装置和电子设备
    53.
    发明公开

    公开(公告)号:CN115932728A

    公开(公告)日:2023-04-07

    申请号:CN202211441054.2

    申请日:2022-11-17

    Inventor: 王敏 杨善松

    Abstract: 本公开涉及一种声源定位方法、装置和电子设备,该方法包括:通过麦克风阵列采集声音信号;确定声音信号的各个频点的能量增长幅度;基于各个频点的能量增长幅度从各个频点中确定多个候选频点;将每个中频频点传输至麦克风阵列中任意相邻两个麦克风间的相对时延确定为多个第一时延;基于每个第一时延确定多个时延区间;从多个第一时延中确定参考时延;确定每个高频频点对应的麦克风阵列中任意相邻两个麦克风间的第二时延,得到多个第二时延;基于多个第二时延和参考时延确定每个高频频点的频点权重;基于声源定位算法和每个高频频点的频点权重确定目标函数;将使目标函数的函数值最大的角度确定为声源角度。本方案能够有效提升声源定位的准确性。

    一种语义解析方法及电子设备
    54.
    发明公开

    公开(公告)号:CN115659992A

    公开(公告)日:2023-01-31

    申请号:CN202211410426.5

    申请日:2022-11-11

    Abstract: 本申请实施例公开了一种语义解析方法及电子设备,涉及自然语言处理技术领域,能够节省对话系统进行学习的人力以及时间,同时提高对用户的输入信息进行解析的效率。具体方案为:输入接口,被配置为获取用户输入的文本信息;控制器,被配置为根据文本信息,确定文本信息对应的知识库信息;知识库信息用于标识文本信息对应的知识库;将文本信息以及知识库信息进行融合,得到融合信息;根据融合信息,得到融合信息对应的向量;将融合信息对应的向量输入到基于语义解析模型,得到文本信息对应的输出信息。

    一种信息交互方法及设备
    55.
    发明授权

    公开(公告)号:CN113010633B

    公开(公告)日:2023-01-31

    申请号:CN201911330884.6

    申请日:2019-12-20

    Abstract: 本申请公开了一种信息交互方法及设备,包括:接收来自于智能设备的查询请求,根据所述查询请求获得用户查询语句文本;根据所述用户查询语句文本中包含的实体指称查询知识库,得到待消除歧义实体指称对应的候选实体集合,所述候选实体集合中包括至少两个候选实体;确定每个候选实体的特征向量,并确定不同候选实体两两组合的特征向量之差;利用所述不同候选实体两两组合的特征向量之差,按照与所述待消除歧义实体指称的相关度对所述候选实体进行排序,并从排序后的候选实体中选择与所述待消除歧义实体指称相关的实体;根据与所述用户查询语句文本中的实体指称相关的实体,响应所述查询请求,并向所述智能设备发送响应结果。

    一种数据处理方法、装置和电子设备

    公开(公告)号:CN115617162A

    公开(公告)日:2023-01-17

    申请号:CN202211119932.9

    申请日:2022-09-14

    Abstract: 本公开涉及一种数据处理方法、装置和电子设备,涉及人机交互技术领域,语音解决如何通过数据虚拟人来播报答复信息的问题。该方法包括:接收电子设备发送的用于触发人机交互的语音信息;对语音信息进行识别,确定语音信息的回复信息;将回复信息输入至文本驱动模型,确定目标关键点集合;向电子设备发送携带回复信息和目标关键点集合的目标信息,以便电子设备根据预先配置的虚拟数字人的脸部对应的预设关键点集合、回复信息和目标关键点集合生成虚拟数字人的渲染图像。

    显示设备与语音交互方法
    57.
    发明公开

    公开(公告)号:CN114627864A

    公开(公告)日:2022-06-14

    申请号:CN202011433067.6

    申请日:2020-12-10

    Inventor: 岳文浩 杨善松

    Abstract: 本申请实施例提供一种显示设备与语音交互方法,在接收到用户输入的第一语音数据时,确定该第一语音数据对应的候选用户意图;当第一语音数据对应多个候选用户意图时,根据这多个候选用户意图生成询问语句,并向用户反馈该询问语句,用于提示用户从上述多个候选用户意图中选择一个用户意图;接收用户输入的第二语音数据,并根据该第二语音数据在上述多个候选用户意图中确定第一语音数据对应的目标用户意图;输出与该目标用户意图关联的关联信息。本申请能够有效提升语音交互过程中用户意图理解的准确性。

    一种文本生成的方法及设备
    58.
    发明公开

    公开(公告)号:CN114138948A

    公开(公告)日:2022-03-04

    申请号:CN202010923147.3

    申请日:2020-09-04

    Abstract: 本申请提供一种文本生成的方法及设备,用以在保证文本生成方式的通用性的基础上提高文本质量和文本丰富性,摆脱对人工的依赖并提高效率。接收用于指示文本预测的指示信息,指示信息是终端设备接收到播放多媒体资源的语音指令后发送的;将多媒体资源对应结构化数据输入已训练的文本生成模型,执行多轮文本序列预测,以得到目标文本,并返回给终端设备;结构化数据中包含用于表征多媒体资源属性的文本信息和多媒体资源内容相关的文本信息;每轮文本序列预测的过程为:根据前一轮次预测的文本序列中的文本信息,确定结构化数据中每个文本信息的第一概率,以及高频词集合中每个文本信息的第二概率;根据第一概率和第二概率,预测当前轮次的文本序列。

    一种唇语识别方法及显示设备
    59.
    发明公开

    公开(公告)号:CN113762142A

    公开(公告)日:2021-12-07

    申请号:CN202111033048.9

    申请日:2021-09-03

    Abstract: 本申请实施例公开了一种唇语识别方法及显示设备,其方法包括:对视频帧图像进行人脸关键点检测;提取所述视频帧图像的VVAD特征向量,并将所述VVAD特征向量保存至双向链表中对当前视频帧图像进行VVAD分类,输出所述当前视频帧图像是否为发音帧;如果所述当前视频帧图像为发音帧,提取所述当前视频帧图像的唇语特征向量;对所述唇语特征向量进行唇语特征分类,输出唇语识别结果。本申请通过把耗时较多的提取时序信息的模型拆解成了特征提取器+分类器方式,分散了这部分模型运行时的耗时,避免在某一时刻集中计算时摄像头展示画面延时现像,提高运算效率,减少对端部算力的要求,达到唇语识别模型在端侧的部署。

    一种信息交互方法及设备
    60.
    发明公开

    公开(公告)号:CN113010633A

    公开(公告)日:2021-06-22

    申请号:CN201911330884.6

    申请日:2019-12-20

    Abstract: 本申请公开了一种信息交互方法及设备,包括:接收来自于智能设备的查询请求,根据所述查询请求获得用户查询语句文本;根据所述用户查询语句文本中包含的实体指称查询知识库,得到待消除歧义实体指称对应的候选实体集合,所述候选实体集合中包括至少两个候选实体;确定每个候选实体的特征向量,并确定不同候选实体两两组合的特征向量之差;利用所述不同候选实体两两组合的特征向量之差,按照与所述待消除歧义实体指称的相关度对所述候选实体进行排序,并从排序后的候选实体中选择与所述待消除歧义实体指称相关的实体;根据与所述用户查询语句文本中的实体指称相关的实体,响应所述查询请求,并向所述智能设备发送响应结果。

Patent Agency Ranking