-
公开(公告)号：CN112818861A
公开(公告)日：2021-05-18
申请号：CN202110141728.6
申请日：2021-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括：将短视频以话语为单位分割成相同数量的语义单元，生成对应的视频、语音和文本样本，并提取表情特征、语谱图和句子向量三种表征特征；将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器，提取对应的情感语义特征；分别使用表情、语音、文本情感语义特征的上下文关系，构建相应的邻接矩阵；分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络，提取对应的上下文情感语义特征，并融合得到多模态情感特征，用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系，能有效地提高情感分类的准确率。
-
公开(公告)号：CN112800979A
公开(公告)日：2021-05-14
申请号：CN202110133950.1
申请日：2021-02-01
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于表征流嵌入网络的动态表情识别方法及系统。该方法包括：采集人脸表情视频片段，建立包含表情类别标签的人脸表情视频库；构建嵌入表征流层的卷积神经网络模型，该模型包括数据处理层、第一特征提取模块、表征流层、第二特征提取模块、注意力机制模块、全连接层和分类层；使用人脸表情视频库中的视频样本对所述的卷积神经网络模型进行训练；利用训练好的模型对测试视频进行人脸表情识别，输出表情类别。本发明在卷积神经网络中嵌入可微分的表征流层，在特征图层面借鉴传统光流法生成表征光流图，利用时间序列上特征图之间的表征光流来提取视频帧序列中的动态表情特征，能够有效提高人脸表情识别的准确率、鲁棒性及实时性。
-
公开(公告)号：CN112800891A
公开(公告)日：2021-05-14
申请号：CN202110060936.3
申请日：2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种用于微表情识别的鉴别性特征学习方法与系统。首先提取微表情视频序列中的起始帧和峰值帧，并对其进行预处理，进而计算峰值帧与起始帧之间的光流信息，得到光流图；然后从普通表情图像库中选取其表情类别不同于峰值帧的一幅图像，对其进行裁剪，并用裁剪得到的图像块替换峰值帧图像的对应区域，得到合成图像；接着构造基于类激活图注意力机制的双流卷积神经网络模型，将光流图和合成图像分别输入到双流卷积神经网络的两个支路，对模型进行训练；最后用训练好的模型从输入的视频序列中提取鉴别力强的特征，用于微表情分类识别。本发明可以有效防止模型过拟合，并使模型学习到鉴别力强的微表情特征，提高微表情识别的准确率。
-
公开(公告)号：CN112365529B
公开(公告)日：2021-04-20
申请号：CN202110029618.0
申请日：2021-01-11
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于重心偏离度的隧洞点云配准方法、装置，所述方法包括：获取隧洞的基准点云和目标点云；迭代步骤：在基准点云中选择基准共面四点基，在目标点云中选择对应的候选点集合；计算候选点集合中各个点的重心偏离度，根据重心偏离度之间的偏差确定候选同名配准基元；根据仿射比例和线段夹角，从候选同名配准基元中确定目标共面四点基，并计算配准变换参数；重复迭代步骤，获取多组配准变换参数，选取最优配准变换参数。本方案中，采用重心偏离度，不依赖于配准对象的规则几何特征，且重心能够较好的表现隧洞地质岩体对象局部空间结构形态，在配准的效率和准确性方面都有较大程度的提高。
-
公开(公告)号：CN112365529A
公开(公告)日：2021-02-12
申请号：CN202110029618.0
申请日：2021-01-11
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于重心偏离度的隧洞点云配准方法、装置，所述方法包括：获取隧洞的基准点云和目标点云；迭代步骤：在基准点云中选择基准共面四点基，在目标点云中选择对应的候选点集合；计算候选点集合中各个点的重心偏离度，根据重心偏离度之间的偏差确定候选同名配准基元；根据仿射比例和线段夹角，从候选同名配准基元中确定目标共面四点基，并计算配准变换参数；重复迭代步骤，获取多组配准变换参数，选取最优配准变换参数。本方案中，采用重心偏离度，不依赖于配准对象的规则几何特征，且重心能够较好的表现隧洞地质岩体对象局部空间结构形态，在配准的效率和准确性方面都有较大程度的提高。
-
Patent Agency Ranking
公开(公告)号：CN108363962B
公开(公告)日：2021-01-26
申请号：CN201810071146.3
申请日：2018-01-25
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多层次特征深度学习的人脸检测方法及系统。该方法包括获取训练集和验证集图像及图像的标签信息；将图像及标签输入深度卷积神经网络中，对网络进行训练和调优，得到人脸检测模型；将测试图像输入到训练好的模型进行人脸检测。其中神经网络包括用于提取第一层次特征的第一网络模块，用于提取第二层次特征的第二网络模块，以及包括两个支路，分别用于完成人脸分类任务和人脸位置坐标回归任务的第三网络模块。本发明在不同层次的特征图上进行检测，解决了现有方法中采用分阶段方式存在的效率慢、步骤繁琐和泛化能力差的问题，在保证高检测精度的同时也达到了实时检测的效果，并且对人脸图像的光照与遮挡问题具有很好的鲁棒性。
-
公开(公告)号：CN112101401A
公开(公告)日：2020-12-18
申请号：CN202010660341.7
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法。具体步骤：处理原始数据中的多个模态的数据，提取特征；对收集到的各模态的数据做预处理；使用稀疏监督最小二乘多类核典型相关分析方法进行多模态特征融合，调试模型的参数。本发明针对多类情感分类问题，将数据库中各种维度的情感从不高兴到高兴整理成7类，提出一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感特征融合方法，是情感计算领域中基于特征层融合情感分类的一种新方法，由此方法计算各模态特征间的强相关性，能使计算机更好的分辨人类的情绪变换。
-
公开(公告)号：CN111950592A
公开(公告)日：2020-11-17
申请号：CN202010660340.2
申请日：2020-07-10
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。
-
公开(公告)号：CN108596039B
公开(公告)日：2020-05-05
申请号：CN201810267991.8
申请日：2018-03-29
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于3D卷积神经网络的双模态情感识别方法及系统。该方法首先分别构建用于表情情感识别和姿态情感识别两种3D卷积神经网络，并基于双模态情感视频库的训练集和验证集优化网络模型参数；然后基于双模态情感视频库的测试集分别对优化后的两种神经网络进行测试，得到表情情感识别混淆矩阵和姿态情感识别混淆矩阵；最后利用表情情感识别混淆矩阵和姿态情感识别混淆矩阵的先验知识，将对新输入的表情视频序列和姿态视频序列的两种模态的识别结果进行融合，得到双模态的情感分类结果。该方法采用3D卷积神经网络和双模态融合算法，避免了人工设计特征的主观性，克服了单模态情感识别的局限性，并能有效提高情感识别的准确性和鲁棒性。
-
公开(公告)号：CN110414587A
公开(公告)日：2019-11-05
申请号：CN201910665020.3
申请日：2019-07-23
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于渐进学习的深度卷积神经网络训练方法与系统。该方法首先按常规方法从样本数据集里任意选取样本，对深度卷积神经网络进行预训练；然后将样本数据集里的样本按类别依次输入到预训练得到的网络模型中提取特征，并根据提取的特征向量计算样本的类内局部密集度和类内距离，使用聚类方法将每一类样本划分为容易分类、较易分类和不易分类三个样本子集；再合并所有类别的容易分类样本子集、较易分类样本子集和不易分类样本子集；最后按照先易后难的渐进顺序，分三个阶段对深度卷积神经网络进行重新训练。与常规的训练方法相比，该方法能够消除含噪声标签样本对训练网络模型的不利影响，得到更加鲁棒的深度卷积神经网络。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.027 seconds)
