公开(公告)号：CN115982652A

公开(公告)日：2023-04-18

申请号：CN202211623613.1

申请日：2022-12-16

Applicant: 南京邮电大学

Inventor： 章韵 ,  王梦婷

IPC: G06F18/2415 ,  G06F18/25 ,  G06V10/40 ,  G06V10/82 ,  G06V30/19 ,  G06N3/0464 ,  G06N3/0442

Abstract: 本发明属于自然语言处理、计算机视觉领域及情感分析技术领域，公开了一种基于注意力网络的跨模态情感分析方法，包括：步骤1：提取图片特征，图片文本特征以及方面特征；步骤2：提取的图片文本特征进入模态更新层，每个所述模态更新层包括一个模态对齐模块和两个模态更新模块，每个模态在所述模态对齐模块内对齐，对齐后进入所述模态更新模块，通过利用不同模态的相关性逐步补充，最终获得交互后的图片特征和文本特征；步骤3：将步图片特征和文本特征采用自注意力机制进行多模态融合；步骤4：将图片特征和图片文本特征与多模态特征进行concat操作，进行情感预测。本发明充分利用了跨模态间的信息交互，有助于提高情感预测的准确性。