公开(公告)号：CN113989911A

公开(公告)日：2022-01-28

申请号：CN202111483036.6

申请日：2021-12-07

Applicant: 南京邮电大学

Inventor： 孙宁 ,  陶江龙 ,  季丰达

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法，通过建立的三维密集人脸重建网络以及端到端的可训练三维人脸特征重建与学习网络模型3DF‑RLN，由单独的2D人脸图像重构得到面部外观和面部几何特征，有效表征了面部表情信息。由面部几何特征得到基于人脸关键点的面部拓扑图，可以反映面部几何特征间的相关性，对面部表情识别及相关研究有重大意义。CNN网络有效提取面部外观特征中包含的表情信息，GCN网络有效提取面部几何特征中包含的信息。由通道注意和softmax构成的融合识别模块有效融合面部外观特征和面部几何特征中包含的互补信息，提高表情识别准确率。总体而言，本方法提高了面部表情识别的准确率，提高真实环境面部表情识别效果。

公开(公告)号：CN114333002B

公开(公告)日：2024-12-03

申请号：CN202111610586.X

申请日：2021-12-27

Applicant: 南京邮电大学

Inventor： 孙宁 ,  季丰达 ,  陶江龙

IPC: G06V40/16 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明是一种基于图深度学习和人脸三维重建的微表情识别方法，包括如下步骤：构建图特征学习模块，进行图特征分析获得一维特征向量；构建光流特征学习模块，通过光流特征提取获得一维特征向量；构建三维细节重建模块，得到一维特征向量；构建多流OGC‑FL网络模型结构，通过多流融合得到微表情识别分类结果。与单一策略相比，本发明多策略生成光流特征可以筛选出对微表情识别任务最为有利的生成策略；本发明的多流OGC‑FL网络模型结构，找到了人脸关键点信息和密集图像信息在识别微表情上的一致性，关键点稀疏空间信息可以通过GFL判断微表情大致的状态，而密集图像信息则凸显了面部细微的肌肉运动，为MER提取更加细节的信息。

公开(公告)号：CN113989911B

公开(公告)日：2024-11-08

申请号：CN202111483036.6

申请日：2021-12-07

Applicant: 南京邮电大学

Inventor： 孙宁 ,  陶江龙 ,  季丰达

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/08

Abstract: 一种基于三维人脸特征重建和图深度学习的真实环境面部表情识别方法，通过建立的三维密集人脸重建网络以及端到端的可训练三维人脸特征重建与学习网络模型3DF‑RLN，由单独的2D人脸图像重构得到面部外观和面部几何特征，有效表征了面部表情信息。由面部几何特征得到基于人脸关键点的面部拓扑图，可以反映面部几何特征间的相关性，对面部表情识别及相关研究有重大意义。CNN网络有效提取面部外观特征中包含的表情信息，GCN网络有效提取面部几何特征中包含的信息。由通道注意和softmax构成的融合识别模块有效融合面部外观特征和面部几何特征中包含的互补信息，提高表情识别准确率。总体而言，本方法提高了面部表情识别的准确率，提高真实环境面部表情识别效果。

公开(公告)号：CN114333002A

公开(公告)日：2022-04-12

申请号：CN202111610586.X

申请日：2021-12-27

Applicant: 南京邮电大学

Inventor： 孙宁 ,  季丰达 ,  陶江龙

IPC: G06V40/16 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于图深度学习和人脸三维重建的微表情识别方法，包括如下步骤：构建图特征学习模块，进行图特征分析获得一维特征向量；构建光流特征学习模块，通过光流特征提取获得一维特征向量；构建三维细节重建模块，得到一维特征向量；构建多流OGC‑FL网络模型结构，通过多流融合得到微表情识别分类结果。与单一策略相比，本发明多策略生成光流特征可以筛选出对微表情识别任务最为有利的生成策略；本发明的多流OGC‑FL网络模型结构，找到了人脸关键点信息和密集图像信息在识别微表情上的一致性，关键点稀疏空间信息可以通过GFL判断微表情大致的状态，而密集图像信息则凸显了面部细微的肌肉运动，为MER提取更加细节的信息。