公开(公告)号：CN113420807A

公开(公告)日：2021-09-21

申请号：CN202110690885.2

申请日：2021-06-22

Applicant: 哈尔滨理工大学

Inventor： 王庆岩 ,  王吉予 ,  殷楠楠 ,  谢金宝 ,  梁欣涛

IPC: G06K9/62 ,  G06N20/20

Abstract: 本发明是一种基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法，为解决现有技术中缺乏引入多模态融合机制的多模态情感识别过程效率、准确率低的问题；属于在人机交互领域，相对于单一模态的情感识别工作，多种模态相结合的情感识别应用更加广泛，因此提出一种基于多任务学习与注意力机制相结合的多模态融合情感识别方法。利用多任务学习引入辅助任务使得各模态自身的情感表示可以被更高效地学习到，交互注意力机制可以使得各模态间情感表示相互学习相互补充，进而提升对多模态情感得识别准确率；在多模态数据集CMU‑MOSI和CMU‑MOSEI上进行实验，准确率和F1值均有提升，同时提高了情感信息识别的准确性和效率。

公开(公告)号：CN109508635A

公开(公告)日：2019-03-22

申请号：CN201811167453.8

申请日：2018-10-08

Applicant: 哈尔滨理工大学

Inventor： 谢金宝 ,  刘秋阳 ,  王吉予 ,  于鹏 ,  刘强 ,  徐照亮

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于TensorFlow结合多层CNN网络的交通灯识别方法属于计算机视觉与机器学习领域；准备交通信号识别公开数据集图像、标签及视频数据集；利用OpenCV对TensorFlow和交通信号识别公开数据集中的图像改变大小并输出其RGB三个通道的归一化数值；对坐标标签依据图形的变换规则进行变换并归一化处理；根据标签索引提取出含有交通灯信息的图片并使其与标签一一对应；将图片和标签送入CNN网络进行训练并保存模型；使本发明有效的解决了标注的准确度不高和识别速度慢的技术问题。