公开(公告)号：CN116664746B

公开(公告)日：2024-04-02

申请号：CN202310620674.0

申请日：2023-05-29

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 虞钉钉 ,  徐清 ,  王晓梅 ,  沈伟林 ,  沈旭立 ,  曹培

IPC: G06T15/04 ,  G06T15/00 ,  G06T3/02 ,  G06T7/50 ,  G06T3/4038 ,  G06T7/40 ,  G06V40/16 ,  G06V10/80

Abstract: 一种人脸重建方法及装置、计算机可读存储介质、终端，所述方法包括：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。采用上述方案有助于改进人脸重建的效果。

公开(公告)号：CN117372553A

公开(公告)日：2024-01-09

申请号：CN202311085684.5

申请日：2023-08-25

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 虞钉钉 ,  徐清 ,  宣晓华 ,  王晓梅 ,  沈伟林 ,  沈旭立 ,  曹培

IPC: G06T11/00 ,  G10L21/10 ,  G10L21/18 ,  G10L25/30 ,  H04N5/91 ,  G06T9/00

Abstract: 一种人脸图像生成方法及装置、计算机可读存储介质、终端，方法包括：确定人脸图像生成模型，包括图像编码子模型、音频编码子模型、音频映射子模型以及解码子模型；将驱动音频输入音频编码子模型，得到音频编码特征，以及将下半部分被遮挡的人脸图像输入图像编码子模型，得到人脸图像编码特征；将音频编码特征输入音频映射子模型，得到权重向量；采用权重向量，对预设的多个记忆口型编码特征进行加权运算，得到融合口型特征，其中，多个记忆口型编码特征对应于不同类型的口型；将音频编码特征、人脸图像编码特征以及融合口型特征，输入解码子模型，得到人脸生成图像。上述方案有助于提高人脸生成图像与驱动音频的口型匹配度。

公开(公告)号：CN114005468B

公开(公告)日：2023-04-07

申请号：CN202111045320.5

申请日：2021-09-07

Applicant: 华院计算技术(上海)股份有限公司 ,  复旦大学

Inventor： 沈旭立 ,  沈伟林

IPC: G10L25/63 ,  G10L25/51 ,  G10L25/30 ,  G10L25/27 ,  G10L15/06 ,  G10L15/08 ,  G06N20/00

Abstract: 本发明公开了一种基于全局工作空间的可解释情绪识别方法和系统，所述方法包括：通过多个预训练模型对相应的输入数据进行分析，获得结果编码；基于最大经验风险算法，将结果编码进行竞争，获得全局工作空间的向量；基于可解释的人工智能算法，获得输入数据的后解释数据；将后解释数据输入到相应的模态模型中，获得第二结果编码；根据向量对第二结果编码进行融合，获得融合向量；将融合向量送入全连接层，经归一化后，获得情绪识别结果。基于最大经验风险算法，对预训练模型的输出进行竞争，获得全局工作空间，通过向量确定融合的机制，使情绪识别快而准确；通过可解释的人工智能算法，提高情绪识别过程的可解释性，便于使用者了解机器学习模型决策的依据。