- 专利标题： 基于Transformer算法的单模态标签生成和多模态情感判别方法
-
申请号： CN202210037389.1申请日： 2022-01-13
-
公开(公告)号： CN114386515B公开(公告)日： 2024-02-20
- 发明人: 师飘 , 胡敏 , 时雪峰 , 李泽中 , 任福继
- 申请人： 合肥工业大学
- 申请人地址： 安徽省合肥市包河区屯溪路193号
- 专利权人： 合肥工业大学
- 当前专利权人： 合肥工业大学
- 当前专利权人地址： 安徽省合肥市包河区屯溪路193号
- 代理机构： 安徽省合肥新安专利代理有限责任公司
- 代理商 陆丽莉; 何梅生
- 主分类号： G06F18/25
- IPC分类号： G06F18/25 ; G06V10/80 ; G06V20/40 ; G06V40/16 ; G06V10/82 ; G06N3/0455 ; G06N3/0442 ; G06N3/0499 ; G06N3/08
摘要：
本发明公开了一种基于Transformer算法的单模态标签生成和多模态情感判别方法，包括：1获取多模态非对齐数据集，并进行预处理得到对应模态的嵌入表达特征；2建立ITE网络模块，提取模态内特征；3单模态标签预测和多模态情感决策判别标签的融合生成；4建立模态间BTE网络模块和模态增强MTE网络模块，并经过全局自注意力STE网络模块获取模态间特征和模态增强特征；5获取多模态情感深层预测的标签。本发明对目前多模态数据集仅有一个多模态标签的情况，通过自监督的带权投票机制进行决策融合产生单模态标签，基于多种跨模态TE的使用，使得模态之间数据充分交互，从而能提升多模态情感判
公开/授权文献
- CN114386515A 基于Transformer算法的单模态标签生成和多模态情感判别方法 公开/授权日：2022-04-22
