-
公开(公告)号：CN117612226A
公开(公告)日：2024-02-27
申请号：CN202311372315.4
申请日：2023-10-23
Applicant: 南京邮电大学
Abstract: 本发明提供一种嵌入特权信息进行强化的面部表情识别方法和系统，方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，分别得到语音特征梅尔图谱和文本特征语义张量；将后两种数据作为特权信息，构建大规模端到端的神经网络结构MPI‑FER；在训练阶段，实现多模态特权信息的嵌入；对三种模态的数据提取的特征进行基于跨模态注意力和自注意力机制的融合，提升表情识别的性能；在测试阶段，仅需要输入人脸表情图像就能够生成对应的梅尔图谱和语义信息，进而进行多模态融合，得到预测类别。本发明的方法和系统提高了真实环境下表情识别率和鲁棒性，面部表情识别准确率优于单/多模态方式的情感识别结果准确率。
-
公开(公告)号：CN117373085A
公开(公告)日：2024-01-09
申请号：CN202311344530.3
申请日：2023-10-17
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V20/40 , G06V10/774 , G06V10/82
Abstract: 本发明提出了一种基于时空自注意力和深度神经网络的非接触心率检测方法，该方法包括以下步骤：从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；将前述步骤中划分好的训练集进行帧间差异提取，留下人脸关键信息，去除环境背景等无用信息；构建结合时空自注意力机制的端到端可训练的深度神经网络模型；将处理后的训练集送入到深度神经网络中进行训练；在利用新的视频进行非接触心率测量时，将经过前述步骤得到的视频序列送入网络模型中，得到该视频对应的心率信号值。本发明的方法和系统提高了非接触测量心率的准确性和有效性。
-
公开(公告)号：CN117241034A
公开(公告)日：2023-12-15
申请号：CN202311068757.X
申请日：2023-08-24
Applicant: 南京邮电大学
IPC: H04N19/30 , H04N19/136 , G06V20/40 , G06V10/46 , G06V10/50 , G06V10/764 , G06V10/74 , G06V10/54
Abstract: 本发明公开了一种图像处理技术领域的基于图像缝合感知与行为识别的视频隐私保护方法，旨在解决现有技术中多层压缩感知采样编码后的图像丢失的细节信息和特征较多等问题，其包括对视频帧序列进行图像缝合感知编码，得视隐态图像数据，并提取其特征，将特征通过支持向量回归模型映射得到视觉隐私保护分数；对视隐态图像数据进行运动前景分离，提取运动前景分离图像的方向梯度直方图特征，将方向梯度直方图特征输入K‑最近邻分类器进行分类检测得行为识别率；在视觉隐私保护分数和行为识别率之间建立关联模型，对视频进行合适的隐私处理。本发明对多层压缩感知编码进行优化，实现编码数据的隐私保护程度和视频监控智能应用性能二者达到平衡。
-
公开(公告)号：CN116012915A
公开(公告)日：2023-04-25
申请号：CN202310003298.0
申请日：2023-01-03
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于全局自注意力机制和几何深度学习的面部表情识别方法和系统，该方法包括以下步骤：对真实环境人脸面部表情图像进行预处理，同一张图像分别进行分割和关键点提取，得到等分的图像块和面部关键点拓扑图；构建端到端可训练的基于全局自注意力机制的神经网络模型AGT；利用前述步骤得到的面部表情图像块与面部关键点拓扑作为输入，对AGT进行训练；以及识别新的人脸图像的表情类别时，将经过前述步骤得到的面部表情图像块与面部关键点拓扑输入到AGT网络模型中以得到该图像的表情类别。本发明的方法和系统提高了真实环境面部表情识别的识别率和鲁棒性，此外，从不同尺度的面部拓扑中提取表情信息，进一步了提高网络的特征提取能力。
-
公开(公告)号：CN110188656B
公开(公告)日：2023-03-24
申请号：CN201910445298.X
申请日：2019-05-27
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种多角度人脸表情图像的生成与识别，将人脸局部关键特征与全局关键特征融合，并将对抗生成一致性网络CTGAN和卷积神经网络融合，形成了判别侧脸表情类别的深度神经网络，将四通道的侧脸图片送到生成器进行训练，而不是传统中将随机变量作为输入，从而最大化的保存了侧脸图片的特征信息，可以更有效的建立从侧脸到正脸图片的映射关系，提升整体识别准确率；将多种特征融合并使用卷积神经网络CNN对提取到的特征进行分类，能够极大的提升多角度人脸表情识别的准确率和鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN111860128B
公开(公告)日：2022-07-29
申请号：CN202010503667.9
申请日：2020-06-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多流快慢图卷积网络的人体骨骼行为识别方法。本发明涉及图像识别技术领域，本发明将快慢网络的思想与图卷积网络相结合，快网络可以有效提取骨骼序列的时间信息，慢网络可以有效期提取骨骼序列的空间信息，侧向连接的方式加强了两路网络之间的信息交互。通过应用不同的注意力机制加强了时空特征的提取和整合。由于采样和降低通道数的做法也大幅减少了计算量。通过引入多流结构，进一步增强了空间上的信息提取能力，提高了基于骨骼关节点的行为识别方法的识别率和鲁棒性。
-
公开(公告)号：CN110059598B
公开(公告)日：2021-07-09
申请号：CN201910274983.0
申请日：2019-04-08
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于姿态关节点的长时程快慢网络融合的行为识别方法，包括如下步骤：利用图卷积网络自动捕捉空间和时序内关节点结构特征和轨迹特征的模式；通过特征拼接网络模型生成每个视频片段的整体时空特征，并按片段顺序串接形成视频的整体时空特征，然后在卷积网络的高层融合输入视频中提取的RGB特征和姿态关节点特征；将两种特征通过支持向量机分类器，经过加权融合的方式输出该视频行为的分类结果。本发明通过提取姿态关节点特征，大大减少了数据量，去除了冗余信息。同时提取长时程多帧图像序列中的时空特征来进行特征补偿，提高了视频复杂行为的识别率和鲁棒性。
-
公开(公告)号：CN111860116A
公开(公告)日：2020-10-30
申请号：CN202010493237.3
申请日：2020-06-03
Applicant: 南京邮电大学
Abstract: 本发明提出了一种基于深度学习和特权信息的场景识别方法，属于图像处理技术领域。其具体步骤包括(1.1)：从场景识别库中选取多个主要场景的RGB图像和深度图像，并将其与RGB图像进行配对；(1.2)：构建结合特权信息和注意力机制的端到端可训练的深度神经网络模型；(1.3)：对深度神经网络模型进行训练，训练时使用权重重分配的方式避免数据不均衡；(1.4)：得到该图像的场景分类结果。本发明以图像编码到特征解码再到图像编码为架构，建立了由RGB图像到深度图像再到深度图像高层语义特征的映射关系。有效解决了深度模态缺失的现状，在只使用RGB图像的情况下，达到了多模态图像融合的效果。
-
公开(公告)号：CN108334830A
公开(公告)日：2018-07-27
申请号：CN201810071440.4
申请日：2018-01-25
Applicant: 南京邮电大学
Abstract: 一种基于目标语义和深度外观特征融合的场景识别方法，具体步骤为：获取待识别的场景图像；提取场景图像的目标语义信息，生成保持空间布局信息的目标语义特征；提取场景图像的外观上下文信息，生成外观上下文特征；提取场景图像的外观全局信息，生成外观全局特征；根据目标语义特征、外观上下文特征和外观全局特征，获取场景图像的识别结果。本发明采用多类目标检测器算法，精准地获取关键目标、类别及其布局信息；通过SFV模型获取室内场景图像的目标语义特征；卷积层和LSTM层组成端到端可训练的混合DNN网络结构可以有效提取场景图像的上下文相信息。该方法融合了目标语义信息、全局外观信息和外观的上下文特征，提高了识别算方法的识别率和鲁棒性。
-
公开(公告)号：CN106650798A
公开(公告)日：2017-05-10
申请号：CN201611120285.8
申请日：2016-12-08
Applicant: 南京邮电大学
CPC classification number: G06K9/6256 , G06K9/6268 , G06N3/08
Abstract: 本发明公开了一种结合深度学习与稀疏表示的室内场景识别方法，包括步骤：从室内场景库中随机挑选若干张室内场景图像作为训练样本，将剩余作为测试样本；利Fast‑RCNN算法对训练和测试样本进行物体类别判别和检测，以构建得到每张室内场景图像的底层特征；利用词袋模型将每张室内场景图像的底层特征和空间特征结合，构建得到中层特征；对训练样本中的中层特征进行糅合构建得到稀疏字典；利用稀疏字典对测试样本进行稀疏表示，及根据求解出的稀疏解与所输入的测试样本计算得到残差，并根据残差的大小判断测试样本所属的物体类别；将判断得到所属的物体类别输出。本发明能准确识别室内场景，可有效提高室内场景识别的准确率和鲁棒性，具有很高的实用性能。
-
-
-
-
-
-
-
-
-
Search Results
71
records
(took 0.028 seconds)
