公开(公告)号：CN118468138B

公开(公告)日：2024-10-15

申请号：CN202410842227.4

申请日：2024-06-27

Applicant: 中国科学技术大学

Inventor： 王硕 ,  陈柯舟 ,  何向南 ,  郝艳宾

IPC: G06F18/2415 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种多模态情感分析模型构建方法、分析模型及分析方法，构建方法包括：获取预训练语言子模型、训练集；对训练集中的样本特征提取，在预训练语言子模型中构建多模态专家，将多模态特征引入预训练语言子模型，得到多模态专家的输出；将混合输出加至预训练语言子模型的Transformer层的输出；采用预设置的MLP分类器预测情感，得到目标模型；将训练后的目标模型作为情感分析模型。通过向预训练语言子模型中插入多模态专家，解决了多模态情感分析使用预训练语言子模型带来的参数量过大的问题；通过多模态路由分析不同模态在不同时间的特征，并将token分配给恰当的专家处理，增加了对多模态特征有效性的判断，提升了分类准确度。

公开(公告)号：CN118468138A

公开(公告)日：2024-08-09

申请号：CN202410842227.4

申请日：2024-06-27

Applicant: 中国科学技术大学

Inventor： 王硕 ,  陈柯舟 ,  何向南 ,  郝艳宾

IPC: G06F18/2415 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种多模态情感分析模型构建方法、分析模型及分析方法，构建方法包括：获取预训练语言子模型、训练集；对训练集中的样本特征提取，在预训练语言子模型中构建多模态专家，将多模态特征引入预训练语言子模型，得到多模态专家的输出；将混合输出加至预训练语言子模型的Transformer层的输出；采用预设置的MLP分类器预测情感，得到目标模型；将训练后的目标模型作为情感分析模型。通过向预训练语言子模型中插入多模态专家，解决了多模态情感分析使用预训练语言子模型带来的参数量过大的问题；通过多模态路由分析不同模态在不同时间的特征，并将token分配给恰当的专家处理，增加了对多模态特征有效性的判断，提升了分类准确度。