公开(公告)号：CN114842533A

公开(公告)日：2022-08-02

申请号：CN202210476248.X

申请日：2022-04-29

Applicant: 哈尔滨理工大学

Inventor： 刘宇鹏 ,  冯贤杰

IPC: G06V40/16 ,  G06N3/08 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 一种基于量子启发的多任务多模态微表情识别系统，它属于微表情识别技术领域。本发明解决了现有方法不能从视频中识别出多模态信息，导致采用现有方法对微表情识别的准确率低的问题。本发明提出基于文本特征向量、人脸特征向量和语音特征向量引入每种模态的上下文注意力权重，有助于学习文本、人脸和音频的上下文信息，同时捕捉与情感密切相关的特征。设计的量子启发Attention机制利用交互注意力将其中一个模态的信息关联到另一个模态，整合不同模态信息，使每个单独模态可以拥有其他模态的信息，获得更丰富的特征。通过对多模态信息进行获取和处理，可以提高对微表情识别的准确率。本发明方法可以应用于微表情识别。

公开(公告)号：CN114842533B

公开(公告)日：2024-07-02

申请号：CN202210476248.X

申请日：2022-04-29

Applicant: 哈尔滨理工大学

Inventor： 刘宇鹏 ,  冯贤杰

IPC: G06V40/16 ,  G06N3/0442 ,  G06N3/084 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 一种基于量子启发的多任务多模态微表情识别系统，它属于微表情识别技术领域。本发明解决了现有方法不能从视频中识别出多模态信息，导致采用现有方法对微表情识别的准确率低的问题。本发明提出基于文本特征向量、人脸特征向量和语音特征向量引入每种模态的上下文注意力权重，有助于学习文本、人脸和音频的上下文信息，同时捕捉与情感密切相关的特征。设计的量子启发Attention机制利用交互注意力将其中一个模态的信息关联到另一个模态，整合不同模态信息，使每个单独模态可以拥有其他模态的信息，获得更丰富的特征。通过对多模态信息进行获取和处理，可以提高对微表情识别的准确率。本发明方法可以应用于微表情识别。

公开(公告)号：CN114461791A

公开(公告)日：2022-05-10

申请号：CN202111350644.X

申请日：2021-11-15

Applicant: 哈尔滨理工大学

Inventor： 刘宇鹏 ,  冯贤杰

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08 ,  G06N10/20

Abstract: 一种基于深度量子神经网络的社交文本情感分析系统，它属于量子计算与自然语言处理的交叉技术领域。本发明解决了现有深度学习方法存在的存储开销大、时间复杂度高以及预测精度低的问题。本发明提出了可调参量子深度学习方法用于社交文本情感分析，利用的量子计算只需要存储输入和输出，而不需要存储中间的结果，那么就节省了二进制编码的存储空间，解决了二进制编码的存储开销大的问题，而且，量子并行计算不需要逐步计算每一个深度神经网络的经典计算，所以降低了深度神经网络的时间复杂度。本发明采用分阶段的训练可以获得更优的模型，与现有方法相比，本发明方法具有较高的预测精度和较强的鲁棒性。本发明可以应用于对社交文本情感进行分析。