公开(公告)号：CN115841596B

公开(公告)日：2023-09-15

申请号：CN202211626780.1

申请日：2022-12-16

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 王晓梅 ,  卢云鸿

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了一种多标签图像分类方法及其模型的训练方法、装置。该模型训练方法包括：获取训练样本；获取标签集的语义特征；将样本图像和语义特征输入多标签图像分类模型，从样本图像中获取视觉特征，基于对比学习网络得到样本图像和标签集的相关度，基于全连接网络得到样本图像映射到分类标签的预测结果；构建相关度矩阵和单位矩阵；基于相关度矩阵、单位矩阵、预测结果和对应的分类标签计算目标损失，调整多标签图像分类模型的参数，直至满足收敛条件。本发明将标签中的语义信息利用起来，除了训练图像信息对应标签的预测结果，还学习图像信息与语义信息的相关性，得到一个高准确度的多标签图像分类模型，提高了多标签图像分类的准确性。

公开(公告)号：CN116386112A

公开(公告)日：2023-07-04

申请号：CN202310349485.4

申请日：2023-03-31

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 吴萧汝 ,  卢云鸿

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/08

Abstract: 一种情绪识别模型的训练方法及装置、存储介质、终端，所述方法包括：基于样本图像，获取样本面部特征向量、样本身体特征向量和样本图像特征向量；基于第一样本特征向量和第二样本特征向量，计算样本面部特征向量对应的第一权重和样本身体特征向量对应的第二权重，其中，第一样本特征向量由样本面部特征向量和样本图像特征向量融合得到，第二样本特征向量由样本身体特征向量和样本图像特征向量融合得到；根据第一权重和第二权重，对样本面部特征向量和样本身体特征向量进行融合，得到第三样本特征向量；基于第三样本特征向量，计算第一人物的情绪类别的预测结果；根据预测结果和第一人物的情绪类别标签计算损失，并根据损失更新特征融合模块。

公开(公告)号：CN116342835A

公开(公告)日：2023-06-27

申请号：CN202310333415.X

申请日：2023-03-31

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 卢云鸿 ,  虞钉钉 ,  胡贤良

IPC: G06T17/20 ,  G06T13/20 ,  G06T13/40

Abstract: 本发明公开了一种人脸三维表面网格生成方法、装置、计算设备及存储介质，该方法包括：获取目标的人脸三维表面网格模板以及音频驱动信息；对目标的人脸三维表面网格模板进行空间特征提取，得到目标的人脸空间特征；对目标的音频驱动信息进行时序特征提取，得到目标的音频序列特征；基于目标的人脸空间特征以及音频序列特征，对目标的人脸进行三维重建，得到目标人脸的三维表面网格序列。本发明可以提取音频驱动信息的序列特征和人脸三维表面网格的空间特征，有利于提高人脸三维表面网格重建的准确性。

公开(公告)号：CN115841596A

公开(公告)日：2023-03-24

申请号：CN202211626780.1

申请日：2022-12-16

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 王晓梅 ,  卢云鸿

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了一种多标签图像分类方法及其模型的训练方法、装置。该模型训练方法包括：获取训练样本；获取标签集的语义特征；将样本图像和语义特征输入多标签图像分类模型，从样本图像中获取视觉特征，基于对比学习网络得到样本图像和标签集的相关度，基于全连接网络得到样本图像映射到分类标签的预测结果；构建相关度矩阵和单位矩阵；基于相关度矩阵、单位矩阵、预测结果和对应的分类标签计算目标损失，调整多标签图像分类模型的参数，直至满足收敛条件。本发明将标签中的语义信息利用起来，除了训练图像信息对应标签的预测结果，还学习图像信息与语义信息的相关性，得到一个高准确度的多标签图像分类模型，提高了多标签图像分类的准确性。