-
公开(公告)号:CN112800894A
公开(公告)日:2021-05-14
申请号:CN202110061153.7
申请日:2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段,建立包含表情类别标签的人脸表情视频库;然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型,该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层;接着使用人脸表情视频库中的视频样本训练该模型;最后利用训练好的模型,对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块,能够实现空域特征和时域特征的信息交互,从而捕捉空域特征和时域特征之间的动态关联信息,获得鉴别能力强的特征,提升人脸表情识别的准确性和鲁棒性。
-
公开(公告)号:CN112800894B
公开(公告)日:2022-08-26
申请号:CN202110061153.7
申请日:2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段,建立包含表情类别标签的人脸表情视频库;然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型,该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层;接着使用人脸表情视频库中的视频样本训练该模型;最后利用训练好的模型,对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块,能够实现空域特征和时域特征的信息交互,从而捕捉空域特征和时域特征之间的动态关联信息,获得鉴别能力强的特征,提升人脸表情识别的准确性和鲁棒性。
-