一种基于分层及分块特征融合的跨视角步态识别方法

    公开(公告)号:CN114677755B

    公开(公告)日:2024-04-26

    申请号:CN202210245454.X

    申请日:2022-03-14

    申请人: 山东大学

    摘要: 本发明涉及一种基于分层及分块特征融合的跨视角步态识别方法,包括:构建并训练基于分层及分块特征融合网络模型;将待识别身份的步态剪影图序列送入训练好的基于分层及分块特征融合网络模型获取步态特征,通过与注册数据集进行特征相似性比对完成查询样本的身份识别;构建基于分层及分块特征融合网络模型,包括:依次构建分层步态识别框架、部分特征混合掩膜、骨架网络、分级水平金字塔、分块特征融合模块;本发明提出的分层步态识别框架,打破通用步态识别框架先提取特征再进行特征映射的先后顺序,可以从特征提取的任意阶段获取特征进行映射,使用高级特征与低级特征相结合的方式,具有更好的效果以及更大的灵活性。

    一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法

    公开(公告)号:CN113496147B

    公开(公告)日:2023-08-29

    申请号:CN202010197688.2

    申请日:2020-03-19

    申请人: 山东大学

    摘要: 一种基于对偶图正则化的联合非负矩阵二分解的微表情识别方法,首先对于训练集宏表情和微表情数据提取相关特征,同时测试集微表情数据提取与训练集微表情相同的特征,其次,通过特征选择和数据标准化将宏表情和微表情数据进行对齐,并将宏微表情数据进行重组;将重组后的数据矩阵进行基于对偶图正则化的联合非负矩阵分解,对系数矩阵施加MMD约束和对偶图正则化约束保证宏微表情数据联系最大化,多次迭代学习最优的训练基矩阵和训练系数矩阵;采用学习的训练基矩阵获取测试集微表情系数矩阵,将测试集系数矩阵与训练集系数矩阵进行最近邻分类。本方法将宏表情数据引入微表情数据域,从另一种角度扩充了微表情数目,有效提高了微表情识别率。

    一种基于运动单元的多域融合微表情检测方法

    公开(公告)号:CN111582212B

    公开(公告)日:2023-04-18

    申请号:CN202010410345.X

    申请日:2020-05-15

    申请人: 山东大学

    IPC分类号: G06V40/16 G06V20/40

    摘要: 本发明涉及一种基于运动单元的多域融合微表情检测方法,包含:(1)对微表情视频进行预处理,包括获取视频帧序列、人脸检测与定位、人脸对齐;(2)对视频帧序列进行运动单元检测,获取视频帧序列的运动单元信息;(3)根据运动单元信息,通过半决策算法,找到包含微表情运动单元信息量ME最多的一个面部运动单元子块作为微表情检测区域,同时,通过设置动态阈值,提取微表情运动单元信息量ME的若干峰值帧作为微表情检测的参考高潮帧;(4)通过多域融合的微表情检测方法实现微表情的检测。本发明减少了冗余信息对微表情检测的影响,减少计算量,使微表情检测更具有综合判别力。计算速度快,微表情检测精度高。

    一种基于联合稀疏字典学习的微表情识别方法

    公开(公告)号:CN110097020B

    公开(公告)日:2023-04-07

    申请号:CN201910388310.8

    申请日:2019-05-10

    申请人: 山东大学

    IPC分类号: G06V40/16

    摘要: 本发明涉及一种基于联合稀疏字典学习的微表情识别方法,包括步骤如下:(1)对宏表情和微表情进行特征提取:分别提取宏表情的LBP特征、微表情的LBP‑TOP特征和光流特征,进行特征选择;(2)构建基于联合稀疏字典学习的微表情识别模型,将宏表情和微表情同时投影到标签空间,在标签空间中进行各自字典的学习,并进行字典的二分解构建宏表情和微表情的情感联系;保证在字典中,宏表情和微表情表达情绪的公共部分尽可能相近,表达自己各自特异的部分尽可能远;(3)通过基于欧氏距离的最近邻分类器对微表情进行分类识别。

    一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法

    公开(公告)号:CN110210429B

    公开(公告)日:2022-11-29

    申请号:CN201910490854.5

    申请日:2019-06-06

    申请人: 山东大学

    IPC分类号: G06V40/16 G06V20/40 G06V10/80

    摘要: 本发明涉及一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法,设计了两个生成器,三个判别器,生成器包括图像生成器和运动生成器,判别器包括图像判别器、运动判别器和光流判别器,运动生成器生成运动特征向量,图片生成器生成表情序列,图像判别器判断生成视频图片内容的真假,运动判别器判别生成视频运动轨迹的是否符合运动规律,光流判别器判定生成的视频是否符合焦虑、抑郁、愤怒表情的光流变化规律,使生成视频的脸部运动更加连贯和真实,判别器将判别的结果返回图像生成器,生成器修改生成的视频使判别器的结果更好,通过多次迭代,生成以假乱真的表情视频片,提高了视频的分辨率和真实度,鲁棒性高。

    一种地源热泵系统性能预测方法

    公开(公告)号:CN109816166B

    公开(公告)日:2022-11-29

    申请号:CN201910043376.3

    申请日:2019-01-17

    申请人: 山东大学

    IPC分类号: G06Q10/04 G06Q50/06

    摘要: 本发明涉及一种地源热泵系统性能预测方法,包括:(1)对GSHP系统的传热性能数据进行预处理和季节性分解;(2)采用季节逐月的方式构建具有GSHP系统工作参数输入的数据结构;(3)构建具有外部系统工作参数输入的可用于时间序列回归预测的决策树集合模型,即预测模型;(4)采用与步骤(2)相同的方法对测试集数据进行数据重构,并采用自回归的方式用步骤(3)训练所得的决策树集合模型进行性能预测;(5)将测试集通过决策树集合模型所得的预测数据与真实数据进行比对,衡量决策树集合模型的预测效果。本发明预测方法简单,操作容易。本发明还解决了传统时间序列分析方法无法对带外有部参数的时间序列进行预测的问题。

    一种基于分阶段多级金字塔的跨视角步态识别方法

    公开(公告)号:CN115050093A

    公开(公告)日:2022-09-13

    申请号:CN202210561470.X

    申请日:2022-05-23

    申请人: 山东大学

    摘要: 本发明涉及一种基于分阶段多级金字塔的跨视角步态识别方法,包括:骨架网络构建:完成初级特征及高级特征提取;分阶段多级金字塔构建:进行分块操作,实现不同级别特征的提取;时序特征提取模块构建:首先经过特征平滑卷积层进行特征的进一步提取以及输出通道的调整,然后使用全局平均池化进行时序特征编码,输入到循环神经网络中进行多帧信息的融合;整体框架训练;跨视角步态识别。本发明模型具有更大的灵活性和有效性。本发明能够有效利用步态剪影图序列中所包含的帧级特征和序列级特征,在特征提取方面更加有效。采用组合损失对模型进行优化,有效地加快网络收敛速度,提升识别效果。

    一种基于光流和RGB模态对比学习的微表情识别方法及系统

    公开(公告)号:CN113139479B

    公开(公告)日:2022-07-29

    申请号:CN202110464746.8

    申请日:2021-04-28

    申请人: 山东大学

    摘要: 本发明涉及一种基于光流和RGB模态对比学习的微表情识别方法及系统,包括:A、对微表情视频进行预处理,包括:获取视频帧序列、人脸检测与定位、人脸对齐以及提取光流序列特征和RGB序列特征;B、对微表情数据集提取光流序列特征和RGB序列特征,将其划分为测试集和训练集;C、构建双模态对比学习识别模型,包括三维卷积残差网络,三维卷积残差网络分别对光流序列特征和RGB序列特征进行特征编码;D、构建交叉熵损失和对比学习损失,利用损失函数训练双模态对比学习识别模型;E、分类识别,根据训练好的双模态对比学习识别模型,对测试集进行分类识别。本发明利用监督信息和无监督信息对网络同时约束,以此得到更强的特征表达。

    一种基于联合层次选择的子空间学习的跨视角步态识别方法

    公开(公告)号:CN113496149A

    公开(公告)日:2021-10-12

    申请号:CN202010198551.9

    申请日:2020-03-20

    申请人: 山东大学

    IPC分类号: G06K9/00 G06K9/62

    摘要: 一种基于联合层次选择的子空间学习的跨视角步态识别方法,首先将目标视角和注册视角的步态样本划分为训练集和测试集,将两种视角步态数据同时进行层次分块划分,对于多层次的步态能量图块分别向量化后特征选择并进行级联;然后将注册视角和目标视角数据同时投影到公共子空间,通过构建跨视角对偶图的方式增强两者联系,投影的过程中进行有效特征选择和有效步态能量图块选择,去除冗余,形成公共子空间内注册样本集,通过训练的目标视角投影矩阵将测试目标视角数据投影到公共子空间中、形成公共子空间内目标样本集,采用欧式距离的最近邻方式对两个样本集进行步态识别。本发明将注册视角步态数据引入目标视角领域,增强跨视角步态识别效果。