公开(公告)号：CN112418166B

公开(公告)日：2022-11-11

申请号：CN202011434335.6

申请日：2020-12-10

Applicant: 南京理工大学

Inventor： 贾修一 ,  沈小霞

IPC: G06V20/40 ,  G06V40/16 ,  G06V10/774 ,  G06N20/00 ,  G10L15/06 ,  G10L21/0208 ,  G10L25/24 ,  G10L25/45 ,  G10L25/57 ,  G10L25/63

Abstract: 本发明公开了一种基于多模态信息的情感分布学习方法，包括：S1、数据准备：提取多模态数据特征，并将多模态数据特征数据集分为训练集和测试集，分别用于模型训练部分和情感预测部分；S2、模型训练：在训练集上学习每个模态的情感分布；S3、情感预测：基于步骤S2中训练好的模型在测试集上进行预测，并通过融合策略将所有模态结果结合起来得到最终结果。本发明通过学习来获取更加准确的标记相关性矩阵，另外，在进行多模态数据处理时采用了后期融合策略，同时，在训练过程中通过约束不同模态的标记相关性矩阵尽可能相似来实现不同模态之间的相互印证和相互补充。本发明通过引入多模态信息可以提高情感分布学习模型的性能。

公开(公告)号：CN112418166A

公开(公告)日：2021-02-26

申请号：CN202011434335.6

申请日：2020-12-10

Applicant: 南京理工大学

Inventor： 贾修一 ,  沈小霞

IPC: G06K9/00 ,  G06K9/62 ,  G06N20/00 ,  G10L15/06 ,  G10L21/0208 ,  G10L25/24 ,  G10L25/45 ,  G10L25/57 ,  G10L25/63

Abstract: 本发明公开了一种基于多模态信息的情感分布学习方法，包括：S1、数据准备：提取多模态数据特征，并将多模态数据特征数据集分为训练集和测试集，分别用于模型训练部分和情感预测部分；S2、模型训练：在训练集上学习每个模态的情感分布；S3、情感预测：基于步骤S2中训练好的模型在测试集上进行预测，并通过融合策略将所有模态结果结合起来得到最终结果。本发明通过学习来获取更加准确的标记相关性矩阵，另外，在进行多模态数据处理时采用了后期融合策略，同时，在训练过程中通过约束不同模态的标记相关性矩阵尽可能相似来实现不同模态之间的相互印证和相互补充。本发明通过引入多模态信息可以提高情感分布学习模型的性能。