公开(公告)号：CN117809679A

公开(公告)日：2024-04-02

申请号：CN202311258675.1

申请日：2023-09-27

Applicant: 海信视像科技股份有限公司

Inventor： 李绪送 ,  付爱国 ,  杨善松

IPC: G10L21/10 ,  G06F40/30 ,  G06V10/46 ,  G06V40/16 ,  G10L25/63 ,  G10L25/30

Abstract: 本申请一些实施例示出一种服务器、显示设备及数字人交互方法，所述方法包括：在接收语音数据后，获取用户图像数据及与原始关键点数据，以及根据所述语音数据确定播报文本；基于语音数据确定回复情感；将播报文本及回复情感输入情感映射语音驱动模型，得到情感语音关键点序列；将情感语音关键点序列对应替换到原始关键点序列中，生成人脸关键点序列；基于用户图像数据和人脸关键点序列生成数字人图像数据；基于播报文本生成播报语音；将播报语音和数字人图像数据发送至所述显示设备。本申请实施例通过情感映射语音驱动模型实现关键点数据从中性到其他情感的映射，使得生成的数字人在具备与语音内容对应的口型的同时，表情更为丰富和自然。

公开(公告)号：CN117809026A

公开(公告)日：2024-04-02

申请号：CN202311269116.0

申请日：2023-09-27

Applicant: 海信视像科技股份有限公司

Inventor： 于子亿 ,  付爱国 ,  李绪送

IPC: G06V10/26 ,  G10L21/10 ,  G10L21/18 ,  G10L15/18 ,  G10L15/26 ,  G10L13/047 ,  G10L13/033 ,  G06N3/0455 ,  G06V10/82 ,  G06V40/16 ,  G06V20/70 ,  G06V10/46 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06V20/40 ,  G06T3/04

Abstract: 本申请一些实施例示出一种服务器、显示设备及图像处理方法，所述方法包括：接收人脸图像数据；将人脸图像数据输入共享编码器，得到第一深度编码特征；将第一深度编码特征输入分割解码器，得到分割掩膜；将分割掩膜与深度编码特征输入引导流结构模块，得到细化特征；将深度编码特征与细化特征输入抠图解码器，得到抠图后的人脸图像；对抠图后的人脸图像进行画质增强处理，得到人脸增强图像；确定人脸关键点数据；生成标准数据。本申请实施例先通过分割解码器得到分割掩膜，分割掩膜为抠图解码器提供分割得到的语义信息，从而使得抠图结果精度更高，人像边缘分割更为干净，有助于提升标准数据的质量和精度，且无需人工辅助信息。

公开(公告)号：CN117808665A

公开(公告)日：2024-04-02

申请号：CN202311267704.0

申请日：2023-09-27

Applicant: 海信视像科技股份有限公司

Inventor： 沈杨 ,  李绪送 ,  付爱国 ,  杨善松

IPC: G06T3/04 ,  G10L21/10 ,  G10L21/18 ,  G10L15/18 ,  G10L15/26 ,  G10L13/047 ,  G10L13/033 ,  G06V10/26 ,  G06V10/46 ,  G06V10/24 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0455 ,  G06V20/40

Abstract: 本申请一些实施例示出一种服务器、显示设备及图像处理方法，所述方法包括：接收人脸图像数据；对所述人脸图像数据进行人脸分割预处理，得到多个部位对应的内部中间风格编码特征，所述内部中间风格编码特征为自然人脸风格的编码特征；获取多个部位的外部中间风格编码特征，所述外部中间风格编码特征为目标风格的编码特征；将所述内部中间风格编码特征和所述外部中间风格编码特征输入训练好的风格对抗生成网络模型中，生成目标风格化人脸图像数据。通过对人脸图像数据进行人脸分割预处理，得到真人形象域的结构特征，并通过外部网络控制目标域的生成转换，引入艺术风格特征，得到高清风格化人脸图像。

公开(公告)号：CN116152402A

公开(公告)日：2023-05-23

申请号：CN202211735800.9

申请日：2022-12-30

Applicant: 海信视像科技股份有限公司

Inventor： 沈杨 ,  李绪送 ,  付爱国 ,  杨善松

IPC: G06T13/40 ,  G06T13/20 ,  G06T3/00 ,  G06N3/0475 ,  G06N3/094

Abstract: 本申请实施例提供了一种动画生成设备及方法，涉及显示技术领域。该动画生成设备及方法包括：首先对目标人脸图像进行风格迁移，获取所述目标人脸图像对应的迁移图像，再对所述迁移图像进行关键点检测，获取所述迁移图像的人脸关键点，根据所述人脸关键点和所述迁移图像的角点，确定所述迁移图像的驱动关键点和驱动锚点，然后获取所述迁移图像的纹理坐标以及所述迁移图像的多个纹理三角形；最终根据实时获取的驱动语音对应的顶点坐标序列、所述纹理坐标以及所述多个纹理三角形对所述迁移图像进行驱动，以生成所述目标人脸图像对应的风格迁移动画。本申请实施例用于提升通过目标人像生成风格迁移动画的转换效果。