公开(公告)号：CN118114105A

公开(公告)日：2024-05-31

申请号：CN202311718252.3

申请日：2023-12-14

Applicant: 南京邮电大学

Inventor： 刘天亮 ,  徐钦超 ,  戴修斌

IPC: G06F18/241 ,  G06F18/2415 ,  G06F18/15 ,  G06F18/213 ,  G06F18/25 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/0895 ,  G06V10/82

Abstract: 本发明公开了一种基于对比学习和Transformer结构的多模态情感识别方法及系统，该方法包括对数据集的数据样本进行预处理和划分，划分成训练集、测试集和验证集；利用图像特征提取模型和文本特征提取模型分别对图像数据和文本数据进行特征提取；计算图文对比损失，完成图像特征和文本特征的对齐；利用多层transformer‑encoder进行模态特征融合，通过softmax函数得到情感分类的结果；利用数据增强方法及随机dropout方法对数据样本进行正负样本构建，与原数据集特征进行对比学习，优化整个模型参数。本发明使用轻量化模型提取特征，并辅以模态对齐及对比学习任务，在不影响模型精度的同时，降低计算复杂度，提升运行速度。