公开(公告)号：CN113988201B

公开(公告)日：2024-04-26

申请号：CN202111294685.1

申请日：2021-11-03

Applicant: 哈尔滨工程大学

Inventor： 王红滨 ,  邢浩 ,  王勇 ,  周连科 ,  何鸣 ,  王念滨

IPC: G06F18/2415 ,  G06F18/243 ,  G06F18/25 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于神经网络的多模态情感分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，本发明为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，它包括提取待预测情感图片中的多模态数据；提取多模态数据中各单模态的原始向量；根据各模态的原始向量计算各模态的指导向量；获得各模态的重构特征向量；利用注意力机制对得到的各模态的重构特征向量进行加权平均，生成融合特征向量；将得到的融合特征向量输入至情感分类模型中，输出分类结果。本发明用于对社交网络坏境下多模态的混合信息进行情感分类，属于自然语言处领域。

公开(公告)号：CN113988201A

公开(公告)日：2022-01-28

申请号：CN202111294685.1

申请日：2021-11-03

Applicant: 哈尔滨工程大学

Inventor： 王红滨 ,  邢浩 ,  王勇 ,  周连科 ,  何鸣 ,  王念滨

IPC: G06K9/62 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于神经网络的多模态情感分类方法，具体涉及一种基于多模态情感分类的神经网络模型的分类方法，本发明为了解决传统的情感分类方法大多针对单一类型的数据，并不能处理社交网络坏境下多模态的混合信息的问题，它包括提取待预测情感图片中的多模态数据；提取多模态数据中各单模态的原始向量；根据各模态的原始向量计算各模态的指导向量；获得各模态的重构特征向量；利用注意力机制对得到的各模态的重构特征向量进行加权平均，生成融合特征向量；将得到的融合特征向量输入至情感分类模型中，输出分类结果。本发明用于对社交网络坏境下多模态的混合信息进行情感分类，属于自然语言处领域。