公开(公告)号：CN118503629A

公开(公告)日：2024-08-16

申请号：CN202410659908.7

申请日：2024-05-27

Applicant: 江苏大学

Inventor： 宋雪桦 ,  杨恬 ,  张海侠 ,  金华 ,  王昌达 ,  袁昕

IPC: G06F18/10 ,  G06F18/213 ,  G06F18/214 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/09

Abstract: 本发明涉及情感识别领域，具体涉及一种基于自监督和多任务学习的多模态情感识别方法。提出了一种基于自监督和多任务学习的多模态情感识别模型SMT‑MER，该模型通过自监督学习方法从多模态标签中生成单模态情感标签，此外，在多任务学习的框架下，本模型通过共同训练多模态情感融合任务和单模态情感识别任务，实现了底层表征信息的共享。极大地减少了对人工标注的依赖和相应的人力成本，进一步提升不同模态之间的信息交互和共享，有效提高了模型的整体性能。

公开(公告)号：CN118245969A

公开(公告)日：2024-06-25

申请号：CN202410447323.9

申请日：2024-04-15

Applicant: 江苏大学

Inventor： 宋雪桦 ,  张海侠 ,  杨恬 ,  金华 ,  王昌达 ,  袁昕

IPC: G06F18/25 ,  G06F18/213 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明涉及多模态情感识别领域，具体涉及一种基于稀疏注意力融合机制的多模态情感识别方法，采用稀疏自注意力机制解决了处理长序列时计算复杂度激增的问题，通过聚焦于数据中情感相关信息，优化计算效率。设计瓶颈融合模块，显著降低参数量并减少计算成本。稀疏自注意力机制和瓶颈融合模块的结合提升了多模态情感识别任务的性能，在保持低资源消耗的同时，有效分析复杂情感信息，为大规模多模态数据处理提供了高效且资源友好的技术方案。本发明通过对注意力机制进行改进，提出稀疏注意力机制，并引入瓶颈融合模块，能够有效压缩和筛选各模态的特征信息，融合情感相关内容，从而提升多模态融合的整体性能，同时减少模型的参数量。