- 专利标题: 一种基于双模态图网络信息瓶颈的情感识别方法
-
申请号: CN202211645853.1申请日: 2022-12-21
-
公开(公告)号: CN115631504B公开(公告)日: 2023-04-07
- 发明人: 李丽 , 李平 , 苟丽
- 申请人: 西南石油大学
- 申请人地址: 四川省成都市新都区新都大道8号
- 专利权人: 西南石油大学
- 当前专利权人: 西南石油大学
- 当前专利权人地址: 四川省成都市新都区新都大道8号
- 主分类号: G06V30/41
- IPC分类号: G06V30/41 ; G06V30/18 ; G06V30/19 ; G06F40/253 ; G06F40/30 ; G06N3/0442 ; G06N3/048 ; G06N3/0499 ; G06N3/08
摘要:
本发明提供了一种基于双模态图网络信息瓶颈的情感识别方法,包括数据预处理,通过相应的预训练模型分别对图文进行编码;使用长短期记忆网络和前馈神经网络分别进行文本和图像的特征提取;基于语法依赖关系和视觉块相邻位置关系的模态内拓扑图的构建,基于完全二部图的双模态拓扑图的构建;设计基于双模态图网络的模态交互模块,利用图卷积网络实现模态内和模态间的信息交互;通过图池化技术将双模态拓扑图的节点表示转化为图表示;采用多层感知机进行双模态情感识别。此外,建立信息瓶颈模块,提升方法的泛化能力。本发明提供的一种基于双模态图网络信息瓶颈的情感识别方法,能够有效地融合模态信息,并用于指导情感识别。
公开/授权文献
- CN115631504A 一种基于双模态图网络信息瓶颈的情感识别方法 公开/授权日:2023-01-20