一种基于双模态图网络信息瓶颈的情感识别方法
摘要:
本发明提供了一种基于双模态图网络信息瓶颈的情感识别方法,包括数据预处理,通过相应的预训练模型分别对图文进行编码;使用长短期记忆网络和前馈神经网络分别进行文本和图像的特征提取;基于语法依赖关系和视觉块相邻位置关系的模态内拓扑图的构建,基于完全二部图的双模态拓扑图的构建;设计基于双模态图网络的模态交互模块,利用图卷积网络实现模态内和模态间的信息交互;通过图池化技术将双模态拓扑图的节点表示转化为图表示;采用多层感知机进行双模态情感识别。此外,建立信息瓶颈模块,提升方法的泛化能力。本发明提供的一种基于双模态图网络信息瓶颈的情感识别方法,能够有效地融合模态信息,并用于指导情感识别。
0/0