一种显示设备、服务器及绘本生成方法

    公开(公告)号:CN119991868A

    公开(公告)日:2025-05-13

    申请号:CN202411980675.7

    申请日:2024-12-31

    Abstract: 本申请公开了一种显示设备、服务器及绘本生成方法,该方法显示设备响应于打开绘本应用的指令,在显示器上显示绘本应用的功能页面;响应于在功能页面触发的绘本生成指令,生成目标绘本,目标绘本包含具有页序的至少一页绘本页;在显示器上显示绘本播放页面,绘本播放页面的绘本展示区用于按照页序展示至少一页绘本页;响应于对绘本播放页面中绘本编辑控件的触发操作,获取用户输入的新增文本内容,基于新增文本内容和目标绘本对应的绘本风格,生成新增文本内容对应的目标图像;将新增文本内容和目标图像组成新增绘本页;将新增绘本页插入目标绘本中,得到更新后的绘本,在绘本展示区展示更新后的绘本。本方法能够生成符合用户个性化需求的绘本。

    一种服务器、显示设备及数字人交互方法

    公开(公告)号:CN117809682A

    公开(公告)日:2024-04-02

    申请号:CN202311269508.7

    申请日:2023-09-27

    Inventor: 付爱国 杨善松

    Abstract: 本申请一些实施例示出一种服务器、显示设备及数字人交互方法,所述方法包括:接收显示设备发送用户输入的语音数据;基于所述语音数据确定播报语音;提取所述播报语音的语音特征;基于所述语音特征确定口型参数;确定情感参数以及获取用户图像数据;基于所述用户图像数据、所述情感参数和所述口型参数生成数字人图像数据;将所述播报语音和所述数字人图像数据发送至所述显示设备,以使所述显示设备播放所述播报语音并基于所述数字人图像数据显示数字人图像。本申请实施例根据用户输入的语音数据确定表情参数及口型参数,将表情参数及口型参数结合生成具有较好面部表情表达的数字人图像,实现情感定制和控制。

    语音信号的处理设备及方法
    3.
    发明公开

    公开(公告)号:CN117649848A

    公开(公告)日:2024-03-05

    申请号:CN202211632447.1

    申请日:2022-12-19

    Abstract: 本申请实施例提供了一种语音信号的处理设备及方法,涉及语音处理技术领域。该语音信号的处理方法包括:检测器,被配置为获取语音信号;控制器,被配置为:提取所述语音信号的各个音频帧的语义特征和情绪特征,然后对所述语音信号的各个语音帧的语义特征和情绪特征进行多模态双线性池化,再获取所述语音信号的各个语音帧的融合特征,最终对所述语音信号的各个语音帧的融合特征进行合并,得到所述语音信号的声学特征,本申请实施例用于解决在提取语音特征时,语音特征的表达能力不强的问题。

    模型训练方法、图像生成方法、装置、设备和介质

    公开(公告)号:CN114724209A

    公开(公告)日:2022-07-08

    申请号:CN202210247058.0

    申请日:2022-03-14

    Inventor: 付爱国 杨善松

    Abstract: 本公开涉及一种模型训练方法、图像生成方法、装置、设备和介质;其中,该方法包括:基于第一训练样本对第一网络模型进行训练,得到训练后的第一目标模型,第一训练样本包括第一人脸图像、第一人脸图像对应的人脸关键点图像、目标图像、目标图像的目标人脸关键点图像以及目标图像的人脸关键点数据;基于第二训练样本对第二网络模型和第一目标模型进行训练,得到训练后的图像生成模型,第二训练样本包括第一目标模型生成的第二人脸图像和目标图像。本公开实施例通过先对第一网络模型进行训练,得到第一目标模型,再对第二网络模型和第一目标模型进行联合训练,得到图像生成模型,使得图像细节生成效果更好,且有利于提高数字人图像的生成效果。

    绘本生成方法及显示设备
    5.
    发明公开

    公开(公告)号:CN119991870A

    公开(公告)日:2025-05-13

    申请号:CN202411982385.6

    申请日:2024-12-31

    Abstract: 本申请涉及一种绘本生成方法及显示设备,涉及显示设备技术领域。该方法包括:接收到绘本生成需求信息,识别出绘本生成需求信息对应的文本信息;将文本信息输入文本处理模型,得到绘本角色信息和绘本主题信息;利用绘本角色信息和绘本主题信息,从预设的绘本风格信息中筛选出相匹配的目标绘本风格信息,以及从预设的播报音色信息中筛选出相匹配的目标播报音色信息;从预设的背景音频信息中,筛选出与绘本主题信息和目标绘本风格信息相匹配的目标背景音频信息;基于绘本角色信息、绘本主题信息、目标绘本风格信息、目标播报音色信息和目标背景音频信息,进行绘本生成处理,得到与绘本生成需求信息对应的绘本。本申请能够提升绘本生成处理的效率。

    一种虚拟数字人的生成方法、装置和电子设备

    公开(公告)号:CN119968653A

    公开(公告)日:2025-05-09

    申请号:CN202380070288.7

    申请日:2023-08-14

    Abstract: 本申请提供一种虚拟数字人的生成方法、装置和电子设备,涉及人机交互技术领域,用于解决如何保证用户执行电子设备播放的健身视频对应的健身动作的一致性的问题。该方法包括:获取播放目标视频时图像采集装置采集的第一帧图像;对第一帧图像进行人体关键识别,确定人体关键点之间的位置信息、目标身体部位的第一实际长度以及除目标身体部位以外的其它身体部位的第二实际长度;根据目标比例关系和第一实际长度,确定除目标身体部位以外的其它身体部位的第预测长度;基于第二实际长度和所述预测长度,确定其它身体部位的绘制高度;基于第一实际长度、绘制高度以及位置关系进行绘制,生成虚拟数字人。

    一种服务器、显示设备及数字人交互方法

    公开(公告)号:CN117809681A

    公开(公告)日:2024-04-02

    申请号:CN202311267849.0

    申请日:2023-09-27

    Abstract: 本申请一些实施例示出一种服务器、显示设备及数字人交互方法,所述方法包括:在接收到显示设备发送用户输入的语音数据后,获取用户图像数据,以及根据语音数据确定播报文本;将用户图像数据映射到三维空间,得到形象系数;确定情感系数序列;基于播报文本、形象系数和情感系数序列生成数字人图像数据;基于播报文本生成播报语音;将播报语音和数字人图像数据发送至显示设备,以使显示设备基于数字人图像数据显示数字人图像并播放播报语音。本申请实施例通过将获取到的用户图像数据映射到三维空间,在三维空间可根据高拟人化的情感编辑实现对表情的可控调节,使数字人表情更加拟真人化。

    一种服务器、显示设备及数字人交互方法

    公开(公告)号:CN117809679A

    公开(公告)日:2024-04-02

    申请号:CN202311258675.1

    申请日:2023-09-27

    Abstract: 本申请一些实施例示出一种服务器、显示设备及数字人交互方法,所述方法包括:在接收语音数据后,获取用户图像数据及与原始关键点数据,以及根据所述语音数据确定播报文本;基于语音数据确定回复情感;将播报文本及回复情感输入情感映射语音驱动模型,得到情感语音关键点序列;将情感语音关键点序列对应替换到原始关键点序列中,生成人脸关键点序列;基于用户图像数据和人脸关键点序列生成数字人图像数据;基于播报文本生成播报语音;将播报语音和数字人图像数据发送至所述显示设备。本申请实施例通过情感映射语音驱动模型实现关键点数据从中性到其他情感的映射,使得生成的数字人在具备与语音内容对应的口型的同时,表情更为丰富和自然。

Patent Agency Ranking