公开(公告)号：CN119720080A

公开(公告)日：2025-03-28

申请号：CN202411761989.8

申请日：2024-12-03

Applicant: 哈尔滨工业大学

Inventor： 杨柱天 ,  王一冰 ,  董一帆 ,  王琳翰 ,  王虎

IPC: G06F18/25 ,  G10L25/30 ,  G10L25/63 ,  G06F18/213 ,  G06F18/243 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于超图和注意力的单模态辅助情感分析系统，属于情感分析技术领域。本发明针对现有基于深度学习的MSA方法不能整合模态内局部信息和模态间全局信息，存在信息损失的问题。采用单模态特征提取模块提取声音数据、视觉数据和文本数据的单模态初始特征；采用特征增强模块对单模态初始特征进行谱域和空域超图卷积，再通过自注意力机制分别对超图卷积结果进行整合得到单模态增强特征；特征加权聚合模块，对单模态增强特征进行加权组合得到组合特征，进行得到多模态情感预测值；为了有效利用单模态信息，在训练阶段引入单模态辅助策略平衡单模态和多模态信息，优化训练过程。本发明用于多模态情感分析。