公开(公告)号：CN116226347A

公开(公告)日：2023-06-06

申请号：CN202310184746.1

申请日：2023-03-01

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  秦航宇 ,  杜肖兵 ,  邓小明 ,  王宏安

IPC: G06F16/332 ,  G06F16/33 ,  G06V20/40 ,  G06V20/62 ,  G06V30/148 ,  G06V10/40 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08 ,  G06N5/04 ,  G10L25/63 ,  G10L25/57 ,  H04N21/44 ,  H04N21/439 ,  H04N21/435

Abstract: 本发明属于视频问答领域，具体涉及一种基于多模态数据的细粒度视频情绪内容问答方法和系统。本发明基于情节记忆网络构建视频情绪推理基线模型，设计针对视觉、音频和文本数据的多分支处理模块，并借助Transformer编码器编码多模态数据中的时序依赖，提取出的多模态特征包含多角度情绪内容，能够精确地完成细粒度视频情绪内容问答任务。本发明利用Transformer编码器在视频、音频和文本序列上学习时序关联关系，并提取与情绪分类相关的高维多模态特征，该时序关联关系对分析视频包含的情绪信息至关重要。本发明能够有效提高基于多模态的细粒度视频情绪内容问答任务结果的准确率。

公开(公告)号：CN113598774A

公开(公告)日：2021-11-05

申请号：CN202110806945.2

申请日：2021-07-16

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  杜肖兵 ,  秦航宇 ,  邓小明 ,  王宏安

IPC: A61B5/16 ,  A61B5/372 ,  A61B5/374

Abstract: 本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置，包括：利用切分窗格的形式，使用大小为n秒的窗格得到脑电数据的时‑频域特征；获取脑电数据在时间序列上的隐层特征向量；捕获脑电数据在时序上与多标签情绪类别之间的关联；依据所述关联和隐层特征向量，得到脑电特征表示；利用图卷积神经网络学习各积极情绪词之间的关联关系；利用脑电特征表示与图卷积神经网络输出之间的点乘结果，得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征，可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。

公开(公告)号：CN113598774B

公开(公告)日：2022-07-15

申请号：CN202110806945.2

申请日：2021-07-16

Applicant: 中国科学院软件研究所

Inventor： 马翠霞 ,  杜肖兵 ,  秦航宇 ,  邓小明 ,  王宏安

IPC: A61B5/16 ,  A61B5/372 ,  A61B5/374

Abstract: 本发明公开了一种基于多通道脑电数据的积极情绪多标签分类方法及装置，包括：利用切分窗格的形式，使用大小为n秒的窗格得到脑电数据的时‑频域特征；获取脑电数据在时间序列上的隐层特征向量；捕获脑电数据在时序上与多标签情绪类别之间的关联；依据所述关联和隐层特征向量，得到脑电特征表示；利用图卷积神经网络学习各积极情绪词之间的关联关系；利用脑电特征表示与图卷积神经网络输出之间的点乘结果，得到脑电数据的积极情绪多标签分类结果。本发明利用脑电信号中与情绪关联大、区分能力强的特征，可精确地完成基于脑电的电影诱发的多标签积极情绪分类任务。