-
公开(公告)号：CN112801153B
公开(公告)日：2022-08-26
申请号：CN202110067281.2
申请日：2021-01-19
Applicant: 南京邮电大学
IPC: G06V10/764 , G06K9/62 , G06V10/40 , G06N3/04 , G06N3/08 , G06V10/774
Abstract: 本发明公开了一种嵌入局部二值模式(LBP)特征的图的半监督图像分类方法及系统。该方法首先建立包含有标签样本和无标签样本的图像库；然后构建一种卷积神经网络模型，并利用图像库中的有标签样本训练出初始模型；进而将有标签样本与无标签样本一起输入初始模型，提取样本的特征向量，以此特征向量构建一个邻接矩阵Wcnn；接着使用输入样本图像的LBP特征再构建一个邻接矩阵Wlbp；将Wcnn与Wlbp相加得到新的邻接矩阵W，根据W构建一个图，通过标签传播得到无标签样本的伪标签；最后基于初始模型使用图像库中所有样本及其标签训练出最终的模型，用于图像分类。本发明通过引入图像的LBP特征来构建图，使得通过标签传播得到的标签的置信度更高，有利于提高图像分类的准确率。
-
公开(公告)号：CN112800891B
公开(公告)日：2022-08-26
申请号：CN202110060936.3
申请日：2021-01-18
Applicant: 南京邮电大学
IPC: G06V40/16 , G06K9/62 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种用于微表情识别的鉴别性特征学习方法与系统。首先提取微表情视频序列中的起始帧和峰值帧，并对其进行预处理，进而计算峰值帧与起始帧之间的光流信息，得到光流图；然后从普通表情图像库中选取其表情类别不同于峰值帧的一幅图像，对其进行裁剪，并用裁剪得到的图像块替换峰值帧图像的对应区域，得到合成图像；接着构造基于类激活图注意力机制的双流卷积神经网络模型，将光流图和合成图像分别输入到双流卷积神经网络的两个支路，对模型进行训练；最后用训练好的模型从输入的视频序列中提取鉴别力强的特征，用于微表情分类识别。本发明可以有效防止模型过拟合，并使模型学习到鉴别力强的微表情特征，提高微表情识别的准确率。
-
公开(公告)号：CN111242180B
公开(公告)日：2022-07-29
申请号：CN202010004433.X
申请日：2020-01-03
Applicant: 南京邮电大学
IPC: G06V10/766 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于轻量化卷积神经网络的图像识别方法及系统，包括：加载预训练好的用于图像识别的深度卷积神经网络模型；采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；针对裁剪完成后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式并对卷积核的权重系数矩阵进行量化编码，得到轻量化的卷积神经网络模型；使用图像数据集对轻量化的模型进行训练，将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。本发明公开的轻量化图像识别模型可以加载到计算能力和存储资源有限的终端上，具有较为广阔的应用前景。
-
公开(公告)号：CN112818861A
公开(公告)日：2021-05-18
申请号：CN202110141728.6
申请日：2021-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括：将短视频以话语为单位分割成相同数量的语义单元，生成对应的视频、语音和文本样本，并提取表情特征、语谱图和句子向量三种表征特征；将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器，提取对应的情感语义特征；分别使用表情、语音、文本情感语义特征的上下文关系，构建相应的邻接矩阵；分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络，提取对应的上下文情感语义特征，并融合得到多模态情感特征，用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系，能有效地提高情感分类的准确率。
-
公开(公告)号：CN112800979A
公开(公告)日：2021-05-14
申请号：CN202110133950.1
申请日：2021-02-01
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于表征流嵌入网络的动态表情识别方法及系统。该方法包括：采集人脸表情视频片段，建立包含表情类别标签的人脸表情视频库；构建嵌入表征流层的卷积神经网络模型，该模型包括数据处理层、第一特征提取模块、表征流层、第二特征提取模块、注意力机制模块、全连接层和分类层；使用人脸表情视频库中的视频样本对所述的卷积神经网络模型进行训练；利用训练好的模型对测试视频进行人脸表情识别，输出表情类别。本发明在卷积神经网络中嵌入可微分的表征流层，在特征图层面借鉴传统光流法生成表征光流图，利用时间序列上特征图之间的表征光流来提取视频帧序列中的动态表情特征，能够有效提高人脸表情识别的准确率、鲁棒性及实时性。
-
Patent Agency Ranking
公开(公告)号：CN112800891A
公开(公告)日：2021-05-14
申请号：CN202110060936.3
申请日：2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种用于微表情识别的鉴别性特征学习方法与系统。首先提取微表情视频序列中的起始帧和峰值帧，并对其进行预处理，进而计算峰值帧与起始帧之间的光流信息，得到光流图；然后从普通表情图像库中选取其表情类别不同于峰值帧的一幅图像，对其进行裁剪，并用裁剪得到的图像块替换峰值帧图像的对应区域，得到合成图像；接着构造基于类激活图注意力机制的双流卷积神经网络模型，将光流图和合成图像分别输入到双流卷积神经网络的两个支路，对模型进行训练；最后用训练好的模型从输入的视频序列中提取鉴别力强的特征，用于微表情分类识别。本发明可以有效防止模型过拟合，并使模型学习到鉴别力强的微表情特征，提高微表情识别的准确率。
-
公开(公告)号：CN108363962B
公开(公告)日：2021-01-26
申请号：CN201810071146.3
申请日：2018-01-25
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多层次特征深度学习的人脸检测方法及系统。该方法包括获取训练集和验证集图像及图像的标签信息；将图像及标签输入深度卷积神经网络中，对网络进行训练和调优，得到人脸检测模型；将测试图像输入到训练好的模型进行人脸检测。其中神经网络包括用于提取第一层次特征的第一网络模块，用于提取第二层次特征的第二网络模块，以及包括两个支路，分别用于完成人脸分类任务和人脸位置坐标回归任务的第三网络模块。本发明在不同层次的特征图上进行检测，解决了现有方法中采用分阶段方式存在的效率慢、步骤繁琐和泛化能力差的问题，在保证高检测精度的同时也达到了实时检测的效果，并且对人脸图像的光照与遮挡问题具有很好的鲁棒性。
-
公开(公告)号：CN108596039B
公开(公告)日：2020-05-05
申请号：CN201810267991.8
申请日：2018-03-29
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于3D卷积神经网络的双模态情感识别方法及系统。该方法首先分别构建用于表情情感识别和姿态情感识别两种3D卷积神经网络，并基于双模态情感视频库的训练集和验证集优化网络模型参数；然后基于双模态情感视频库的测试集分别对优化后的两种神经网络进行测试，得到表情情感识别混淆矩阵和姿态情感识别混淆矩阵；最后利用表情情感识别混淆矩阵和姿态情感识别混淆矩阵的先验知识，将对新输入的表情视频序列和姿态视频序列的两种模态的识别结果进行融合，得到双模态的情感分类结果。该方法采用3D卷积神经网络和双模态融合算法，避免了人工设计特征的主观性，克服了单模态情感识别的局限性，并能有效提高情感识别的准确性和鲁棒性。
-
公开(公告)号：CN110414587A
公开(公告)日：2019-11-05
申请号：CN201910665020.3
申请日：2019-07-23
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于渐进学习的深度卷积神经网络训练方法与系统。该方法首先按常规方法从样本数据集里任意选取样本，对深度卷积神经网络进行预训练；然后将样本数据集里的样本按类别依次输入到预训练得到的网络模型中提取特征，并根据提取的特征向量计算样本的类内局部密集度和类内距离，使用聚类方法将每一类样本划分为容易分类、较易分类和不易分类三个样本子集；再合并所有类别的容易分类样本子集、较易分类样本子集和不易分类样本子集；最后按照先易后难的渐进顺序，分三个阶段对深度卷积神经网络进行重新训练。与常规的训练方法相比，该方法能够消除含噪声标签样本对训练网络模型的不利影响，得到更加鲁棒的深度卷积神经网络。
-
公开(公告)号：CN108596069A
公开(公告)日：2018-09-28
申请号：CN201810346075.3
申请日：2018-04-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。该方法包括：建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；构建一种用于新生儿疼痛表情识别的深度3D残差网络，利用公开的有类别标签的大规模视频数据库对网络进行预训练，得到初始权重参数值，再利用新生儿表情视频库中的训练集和验证集样本对网络进行微调，获得训练好的网络模型；将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。本发明采用深度3D残差网络从视频中提取能够反映时间信息的时空动态特征，可以更好地表征面部表情的变化，从而提升分类识别的准确性。
-
-
-
-
-
-
-
-
-
Search Results
53
records
(took 0.025 seconds)
