公开(公告)号：CN117809026A

公开(公告)日：2024-04-02

申请号：CN202311269116.0

申请日：2023-09-27

Applicant: 海信视像科技股份有限公司

Inventor： 于子亿 ,  付爱国 ,  李绪送

IPC: G06V10/26 ,  G10L21/10 ,  G10L21/18 ,  G10L15/18 ,  G10L15/26 ,  G10L13/047 ,  G10L13/033 ,  G06N3/0455 ,  G06V10/82 ,  G06V40/16 ,  G06V20/70 ,  G06V10/46 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06V20/40 ,  G06T3/04

Abstract: 本申请一些实施例示出一种服务器、显示设备及图像处理方法，所述方法包括：接收人脸图像数据；将人脸图像数据输入共享编码器，得到第一深度编码特征；将第一深度编码特征输入分割解码器，得到分割掩膜；将分割掩膜与深度编码特征输入引导流结构模块，得到细化特征；将深度编码特征与细化特征输入抠图解码器，得到抠图后的人脸图像；对抠图后的人脸图像进行画质增强处理，得到人脸增强图像；确定人脸关键点数据；生成标准数据。本申请实施例先通过分割解码器得到分割掩膜，分割掩膜为抠图解码器提供分割得到的语义信息，从而使得抠图结果精度更高，人像边缘分割更为干净，有助于提升标准数据的质量和精度，且无需人工辅助信息。

公开(公告)号：CN119450124A

公开(公告)日：2025-02-14

申请号：CN202411586765.8

申请日：2024-11-07

Applicant: 海信视像科技股份有限公司

Inventor： 潘佳斌 ,  于子亿

IPC: H04N21/41 ,  H04N21/422 ,  H04N21/475 ,  H04N21/239 ,  G10L15/22 ,  G10L15/30 ,  G10L15/18

Abstract: 本申请提供一种服务器、显示设备及任务处理方法。服务器在接收显示设备发送的任务指令时，可以基于任务指令获取前置语义信息，并根据前置语义信息和任务指令分别搜索对应的记忆信息和工具信息。服务器将搜索到的分别对应于任务指令和前置语义信息的记忆信息和工具信息融合，可以得到用于输入至任务处理模型的待输入信息。进而基于任务处理模型确定任务指令对应的目标任务和目标任务工具，以基于目标任务工具完成目标任务并生成任务完成信息。服务器可以将包含任务完成信息的目标数据包回传至显示设备，由显示设备与用户执行交互。

公开(公告)号：CN119417957A

公开(公告)日：2025-02-11

申请号：CN202411549373.4

申请日：2024-10-31

Applicant: 海信视像科技股份有限公司

Inventor： 刘韶 ,  成刚 ,  于子亿

IPC: G06T13/40 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请涉及一种显示设备，包括：显示器，被配置为显示来自广播系统或网络和/或用户接口的内容；以及至少一个处理器，其与所述显示器连接，并且被配置为执行指令以使所述显示设备：响应于语音查询指令，获取对应的回复文本，基于所述回复文本，生成音频数据、文本数据以及动作控制数据；通过动作驱动模型对所述音频数据、所述文本数据以及所述动作控制数据进行处理，得到动作驱动数据；播放所述音频数据和目标视频，并控制所述显示器显示所述回复文本，所述目标视频为基于所述动作驱动数据对虚拟对象进行控制生成的视频。肢体动作更加灵动。

公开(公告)号：CN116185191A

公开(公告)日：2023-05-30

申请号：CN202310106714.X

申请日：2023-02-08

Applicant: 海信视像科技股份有限公司

Inventor： 付爱国 ,  李绪送 ,  于子亿 ,  杨善松 ,  王旭升

IPC: G06F3/01 ,  G06F3/16

Abstract: 本公开涉及一种服务器、显示设备和虚拟数字人交互方法，涉及虚拟数字人技术领域。其中，服务器包括：控制器，被配置为：接收显示设备发送的问询语音和用户图像；确定问询语音对应的交互语音，并根据交互语音和用户图像生成第一动态视频，第一动态视频中包括交互语音和基于用户图像生成的虚拟数字人，虚拟数字人的面部表情状态与交互语音匹配；将第一动态视频发送至显示设备。本公开实施例降低了虚拟数字人的制作成本和制作难度。

公开(公告)号：CN115775405A

公开(公告)日：2023-03-10

申请号：CN202211469134.9

申请日：2022-11-22

Applicant: 海信视像科技股份有限公司

Inventor： 付爱国 ,  于子亿

IPC: G06V40/16 ,  G06V10/82 ,  G06T13/40 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明涉及一种图像生成方法、装置、电子设备和介质，包括：基于目标人脸图像的至少两个关键点以及至少一个预设关键特征，生成目标人脸图像对应的目标人脸拓扑图像；其中，每个预设关键特征对应至少两个关键点；将待预测人脸图像以及目标人脸图像对应的目标人脸拓扑图像输入至训练好的目标图像生成模型中，获取目标图像生成模型输出的目标人脸图像对应的目标预测人脸图像。采用该方式利用目标人脸拓扑图像约束目标人脸图像包含的多个关键点间的拓扑性结构，且突出目标人脸图像的预设关键特征，从而在将待预测人脸图像和目标人脸拓扑图像输入目标图像生成模型时，获得具有较高精细度的数字人图像的细节信息，提高虚拟数字人图像的生成效果。

公开(公告)号：CN115761065A

公开(公告)日：2023-03-07

申请号：CN202211430663.8

申请日：2022-11-15

Applicant: 海信视像科技股份有限公司

Inventor： 于子亿 ,  付爱国 ,  李绪送 ,  杨善松

IPC: G06T13/20 ,  G06T13/40 ,  G06T7/269 ,  G06T5/50 ,  G06T3/40 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开涉及一种中间帧生成方法、装置、设备及介质，尤其涉及计算机视觉与图像处理技术领域；其中，该方法包括：基于输入的语音信息，确定待生成中间帧的时间信息，并根据时间信息获取与待生成中间帧关联的待处理视频帧，其中，输入的语音信息用于驱动虚拟数字人进行动作；将待处理视频帧输入至光流估计网络模型中，得到对应的光流估计结果和融合图；基于光流估计结果和融合图，生成对应的中间帧。本公开实施例通过上述过程能够生成中间帧，通过中间帧有利于确保虚拟数字人在状态转换过程中自然过渡，使得虚拟数字人能在语音驱动下连贯地完成相应动作。