基于光流注意力神经网络的跨库微表情识别方法及装置

    公开(公告)号:CN110516571A

    公开(公告)日:2019-11-29

    申请号:CN201910756936.X

    申请日:2019-08-16

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置,方法包括:(1)获取两个不同的微表情数据库作为训练集和测试集;(2)将微表情视频转化为人脸图像序列;(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧,由起始帧和峰值帧计算得到第一单通道光流图,由峰值帧和终止帧计算得到第二单通道光流图;(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图;(5)建立光流注意力神经网络,并将训练集和测试集对应融合特征图作为输入进行训练;(6)将待识别的微表情视频处理得到融合特征图,输入光流注意力神经网络,得到微表情类别。本发明泛化能力强,识别准确率高。

    基于光流注意力神经网络的跨库微表情识别方法及装置

    公开(公告)号:CN110516571B

    公开(公告)日:2022-02-11

    申请号:CN201910756936.X

    申请日:2019-08-16

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置,方法包括:(1)获取两个不同的微表情数据库作为训练集和测试集;(2)将微表情视频转化为人脸图像序列;(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧,由起始帧和峰值帧计算得到第一单通道光流图,由峰值帧和终止帧计算得到第二单通道光流图;(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图;(5)建立光流注意力神经网络,并将训练集和测试集对应融合特征图作为输入进行训练;(6)将待识别的微表情视频处理得到融合特征图,输入光流注意力神经网络,得到微表情类别。本发明泛化能力强,识别准确率高。

    基于人脸局部区域特征学习的跨库微表情识别方法及装置

    公开(公告)号:CN110427881B

    公开(公告)日:2021-11-26

    申请号:CN201910706550.8

    申请日:2019-08-01

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于人脸局部区域特征学习的跨数据库微表情识别方法及装置,包括:(1)获取两个微表情数据库,分别作为训练数据库和测试数据库,其中,每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签;(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列,并从中提取出灰度人脸图像,再经过分块后提取人脸局部区域特征;(3)建立组稀疏线性回归模型,并采用人脸局部区域特征对其进行学习,得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵;(4)对于待识别的微表情,按照步骤(2)得到人脸局部区域特征,并采用学习到的稀疏投影矩阵,得到对应的微表情类别标签。本发明准确率更高,更方便。

    基于EC-STFL损失函数的自然场景动态表情识别方法及装置

    公开(公告)号:CN112101119A

    公开(公告)日:2020-12-18

    申请号:CN202010831485.4

    申请日:2020-08-18

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于EC‑STFL损失函数的自然场景动态表情识别方法及装置,包括:(1)获取数据集,数据集中包含若干自然场景下的动态表情视频和对应的表情类别标签;(2)将数据集中的表情视频转换为表情图片序列;(3)将数据集划分为训练集和测试集,选择一个深度神经网络作为主干网络,结合EC‑STFL损失函数,搭建网络模型;(4)将数据集中的训练集的图片序列输入网络模型进行训练;(5)将数据集中的测试集图片序列输入到训练好的网络模型中,识别该视频中的表情类别。本发明结合了基于表情聚集‑时空特征学习(EC‑STFL)的损失函数和交叉熵损失函数的优势,在批处理阶段同时聚集同类表情、分离不同类的表情,有效地提高了自然场景下的动态表情识别率。

    基于人脸局部区域特征学习的跨数据库微表情识别方法及装置

    公开(公告)号:CN110427881A

    公开(公告)日:2019-11-08

    申请号:CN201910706550.8

    申请日:2019-08-01

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于人脸局部区域特征学习的跨数据库微表情识别方法及装置,包括:(1)获取两个微表情数据库,分别作为训练数据库和测试数据库,其中,每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签;(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列,并从中提取出灰度人脸图像,再经过分块后提取人脸局部区域特征;(3)建立组稀疏线性回归模型,并采用人脸局部区域特征对其进行学习,得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵;(4)对于待识别的微表情,按照步骤(2)得到人脸局部区域特征,并采用学习到的稀疏投影矩阵,得到对应的微表情类别标签。本发明准确率更高,更方便。

Patent Agency Ranking