公开(公告)号：CN118153580A

公开(公告)日：2024-06-07

申请号：CN202410015531.1

申请日：2024-01-05

Applicant: 郑州轻工业大学

Inventor： 李祖贺 ,  刘攀博 ,  吴怀广 ,  黄振伟 ,  韩闯 ,  田二林 ,  张亚洲 ,  庾骏 ,  陈浩然 ,  陈辉 ,  卜祥洲

IPC: G06F40/30 ,  G06F16/33 ,  G06F16/335

Abstract: 本申请提供一种语义增强的多模态情感分析方法、系统、电子设备及存储介质，所述方法包括：将原始视频数据输入到特征提取模块，获得各个模态的特征向量；将各个模态的特征向量输入到语义增强模块，分别获得音频特征向量和视觉特征向量对应的文本特征向量，将对应的文本特征向量拼接到原文本特征向量上获得增强后的文本特征向量；将增强后的文本特征向量、音频特征向量和视觉特征向量输入到多模态感知模块，获取模态间高关联性的特征向量；在差异性约束条件下，获取不同模态之间的高差异性特征向量；将高关联性的特征向量和高差异性的特征向量拼接，获得融合特征向量；将融合特征向量输入到情感预测网络，输出情感预测结果。

公开(公告)号：CN119203029A

公开(公告)日：2024-12-27

申请号：CN202411262099.2

申请日：2024-09-09

Applicant: 郑州轻工业大学

Inventor： 李祖贺 ,  王春秀 ,  黄振伟 ,  张永霞 ,  郭翔 ,  孙文哲 ,  韩闯 ,  陈浩然 ,  庾骏 ,  刘伟华 ,  陈辉 ,  卜祥洲

IPC: G06F18/25 ,  G06F18/2431 ,  G06V40/16 ,  G06V10/82 ,  G06F40/30 ,  G10L25/30 ,  G10L25/63 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0499 ,  G06N3/082 ,  G06N3/048

Abstract: 本发明提供了一种表征匹配和路由交互的多模态情感分析方法，其包括：从原始视频数据中分别提取出文本模态表征、音频模态表征和视觉模态表征；将所述文本模态表征、所述音频模态表征和所述视觉模态表征通过对抗性循环翻译网络映射到相似的分布空间中以获得分布均匀的文本模态表征、音频模态表征和视觉模态表征；将所述分布均匀的文本模态表征、音频模态表征和视觉模态表征传入动态路由交互网络中以获得多模态表征；在所述分布均匀的文本模态表征、音频模态表征和视觉模态表征的联合损失约束下将所述多模态表征传入情感预测层进行情感预测，输出最终的情感预测值。

公开(公告)号：CN117786492A

公开(公告)日：2024-03-29

申请号：CN202311826801.9

申请日：2023-12-28

Applicant: 郑州轻工业大学

Inventor： 李祖贺 ,  黄振伟 ,  吴怀广 ,  刘攀博 ,  韩闯 ,  田二林 ,  张亚洲 ,  庾骏 ,  陈浩然 ,  陈辉 ,  卜祥洲

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/211 ,  G06V20/40 ,  G06V10/40 ,  G06V20/62 ,  G06N3/0442 ,  G06N3/0499 ,  G06N3/048 ,  G06N3/045

Abstract: 本申请提供一种多模态情感分析方法、系统、计算机设备及可读存储介质，涉及情感预测技术领域，该方法包括：将原始视频数据输入到特征提取模块，获得语境级模态表征；将所述语境级模态表征输入到去噪模块，获得去除噪声的模态表征；将所述去除噪声的模态表征输入到情感增强模块，获得情感增强模态表征；将所述去除噪声的文本模态表征、所述情感增强声学模态表征和所述情感增强视觉模态表征输入到上下文交互模块中，获得上下文交互增强模态表征；将所述上下文交互增强模态表征输入到情感预测模块，输出情感预测结果，从而可以提高情感预测的准确性。