公开(公告)号：CN113420806B

公开(公告)日：2023-02-03

申请号：CN202110688239.2

申请日：2021-06-21

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  任保家 ,  黄欣研 ,  李玲玲 ,  刘洋 ,  刘旭 ,  郭雨薇 ,  郝泽华

IPC: G06V10/776 ,  G06V40/16 ,  G06V10/74

Abstract: 本发明公开了一种人脸检测质量评分方法及系统，构造人脸检测网络并进行预训练，使得模型可以准确定位出人脸的位置；同时提出了一种可以在训练过程中对奖惩进行自动调节的奖励函数，并与人脸检测网络组成环境生成器；使用浅层卷积神经网络构成智能体对人脸质量进行评分。训练智能体时采用了经验回放策略和目标Q网络算法，可以有效的提升训练速度和模型的性能。本发明利用不同质量的人脸之间的差异性较大这一特性，并结合深度强化学习思想与自调节奖惩机制实现对人脸的质量评分，能够高效的从视频数据中选出质量较好的人脸，提升人脸识别系统的性能。

公开(公告)号：CN113378722A

公开(公告)日：2021-09-10

申请号：CN202110657341.6

申请日：2021-06-11

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  唐瑜 ,  李玲玲 ,  杨苗苗 ,  李鹏芳 ,  李硕 ,  郭雨薇 ,  黄欣研

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于3D卷积和多级语义信息融合的行为识别方法及系统，通过3D卷积网络提取视频帧序列的时空特征；为了防止在3D卷积过程中丢失某些对识别出行为类别极为关键的时间语义信息，使用多级语义信息融合模块来聚集3D卷积网络中各个中间层特征所包含的时间语义信息；将提取出的时间语义信息和3D卷积网络所提取的特征进行融合并分类，得到行为类别。本发明利用LSTM网络设计了多级语义信息融合模块，该模块从3D卷积网络所产生的中间特征中提取时间语义信息，并将其和3D卷积网络提取的最终特征进行融合，使网络的分类器接收更多的信息，提升最终的识别准确率。

公开(公告)号：CN113378721B

公开(公告)日：2023-08-18

申请号：CN202110657280.3

申请日：2021-06-11

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  李玲玲 ,  李任鹏 ,  鲍骞月 ,  黄欣研 ,  刘旭 ,  陈璞花 ,  杨苗苗

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于对称和局部判别的生成对抗人脸校正方法及系统，构造并训练基于对称性先验和局部判别的多路生成对抗网络，该网络包括多路生成器、全局图像判别器、局部区域判别器、全局图像特征提取网络和局部区域特征提取网络。依据人脸对称性这一先验知识，统一人脸偏转方向为正偏转方向，采用局部生成器对发生纹理和结构形变较小的左眼区域进行校正，水平翻转校正后的左眼区域作为校正后的右眼区域；同时对生成的正脸图像提取对应的局部区域进行图像判别和身份判别，使得最终生成的正脸图像在双眼区域与真实的正脸图像能够保持较好的一致性，同时能够更好的恢复局部纹理细节。

公开(公告)号：CN113239866B

公开(公告)日：2022-12-13

申请号：CN202110603019.5

申请日：2021-05-31

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  李玲玲 ,  任保家 ,  黄欣研 ,  李鹏芳 ,  杨苗苗 ,  李硕 ,  刘旭

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空特征融合与样本注意增强的人脸识别方法及系统，通过人脸检测得到视频中特定目标人脸序列并对其进行评分；使用时间序列处理算法ConvGRU对人脸序列进行时间特征提取；从人脸序列中选出分数最高的图像作为关键帧；送入到Resnet50网络中提取出三种不同深度的特征图，使用空间特征融合算法ASFF计算得到空间特征；最后，将上述得到的时间特征和空间特征在通道维度上拼接后送入全局平均池化层和全连接层，使用提出的ADAM‑Softmax损失函数对模型进行训练；由于ADAM‑Softmax损失函数能够自适应增强对类内差异性较大样本的注意，从而使得模型在快速收敛同时也能达到较高识别准确率。

公开(公告)号：CN113378721A

公开(公告)日：2021-09-10

申请号：CN202110657280.3

申请日：2021-06-11

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  李玲玲 ,  李任鹏 ,  鲍骞月 ,  黄欣研 ,  刘旭 ,  陈璞花 ,  杨苗苗

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于对称和局部判别的生成对抗人脸校正方法及系统，构造并训练基于对称性先验和局部判别的多路生成对抗网络，该网络包括多路生成器、全局图像判别器、局部区域判别器、全局图像特征提取网络和局部区域特征提取网络。依据人脸对称性这一先验知识，统一人脸偏转方向为正偏转方向，采用局部生成器对发生纹理和结构形变较小的左眼区域进行校正，水平翻转校正后的左眼区域作为校正后的右眼区域；同时对生成的正脸图像提取对应的局部区域进行图像判别和身份判别，使得最终生成的正脸图像在双眼区域与真实的正脸图像能够保持较好的一致性，同时能够更好的恢复局部纹理细节。

公开(公告)号：CN113239870A

公开(公告)日：2021-08-10

申请号：CN202110605400.5

申请日：2021-05-31

Applicant: 西安电子科技大学

Inventor： 刘芳 ,  李玲玲 ,  李任鹏 ,  焦李成 ,  刘旭 ,  黄欣研 ,  陈璞华 ,  鲍骞月

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于身份约束的生成对抗网络人脸校正方法及系统，构造并训练基于身份约束的生成对抗网络。该网络包括生成器、判别器和人脸特征提取网络；生成器包括编码器、角度姿态分类模块、身份约束识别模块和解码器。设计角度姿态分类模块和身份约束识别模块，分别得到姿态编码特征和身份编码特征，并引入特征损失函数来约束侧脸的身份编码特征逼近其正脸的身份编码特征。通过给侧脸编码特征添加身份约束，并实现侧脸编码特征中身份信息和姿态信息的解耦，使得侧脸身份编码特征通过解码器能够生成保持身份一致性的正脸图像。