-
公开(公告)号：CN112818861B
公开(公告)日：2022-07-26
申请号：CN202110141728.6
申请日：2021-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括：将短视频以话语为单位分割成相同数量的语义单元，生成对应的视频、语音和文本样本，并提取表情特征、语谱图和句子向量三种表征特征；将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器，提取对应的情感语义特征；分别使用表情、语音、文本情感语义特征的上下文关系，构建相应的邻接矩阵；分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络，提取对应的上下文情感语义特征，并融合得到多模态情感特征，用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系，能有效地提高情感分类的准确率。
-
公开(公告)号：CN107945118B
公开(公告)日：2021-09-28
申请号：CN201711034936.6
申请日：2017-10-30
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于生成式对抗网络的人脸图像修复方法，该方法包括以下步骤：(1)搜集大量含有完整清晰人脸的图像，建立一个人脸图像数据库；(2)构建一种生成式对抗网络；(3)对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；(4)将服从正态分布的随机向量输入到已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。本发明针对有遮挡或损坏的人脸图像的修复问题，采用具有深度学习结构的生成式对抗网络，有效地解决了图像处理中的图像修复问题。
-
公开(公告)号：CN112926502A
公开(公告)日：2021-06-08
申请号：CN202110307024.1
申请日：2021-03-23
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于核化双群稀疏学习的微表情识别方法及系统，该方法主要包括：(1)从微表情数据集样本中分别提取两组不同类型的特征向量，构建相应的特征矩阵；(2)对每个特征向量赋予一个权重，构建核化双群稀疏学习模型，用于学习每个特征向量的权重；(3)求解核化双群稀疏学习模型，得到每个特征向量的权重；(4)对于输入的测试视频，提取两组不同类型的特征，并将权重高于阈值的特征向量拼接在一起作为微表情特征向量；(5)使用分类器对微表情特征向量进行分类，得到微表情类别。本发明利用微表情数据集中的训练样本学习每个特征向量的权重，从两组不同特征中自动筛选出最优特征向量用于微表情识别，能够有效提升识别准确率。
-
公开(公告)号：CN112801153A
公开(公告)日：2021-05-14
申请号：CN202110067281.2
申请日：2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种嵌入局部二值模式(LBP)特征的图的半监督图像分类方法及系统。该方法首先建立包含有标签样本和无标签样本的图像库；然后构建一种卷积神经网络模型，并利用图像库中的有标签样本训练出初始模型；进而将有标签样本与无标签样本一起输入初始模型，提取样本的特征向量，以此特征向量构建一个邻接矩阵Wcnn；接着使用输入样本图像的LBP特征再构建一个邻接矩阵Wlbp；将Wcnn与Wlbp相加得到新的邻接矩阵W，根据W构建一个图，通过标签传播得到无标签样本的伪标签；最后基于初始模型使用图像库中所有样本及其标签训练出最终的模型，用于图像分类。本发明通过引入图像的LBP特征来构建图，使得通过标签传播得到的标签的置信度更高，有利于提高图像分类的准确率。
-
公开(公告)号：CN112800998A
公开(公告)日：2021-05-14
申请号：CN202110159085.8
申请日：2021-02-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括：对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征；使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征；对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法，得到脑电‑外周生理‑表情多模态情感特征；使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征，并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性，可以有效提高情感识别的准确率和鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN112800903A
公开(公告)日：2021-05-14
申请号：CN202110067161.2
申请日：2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测，得到关键点的归一化坐标和编号；提取关键点的局部纹理特征向量，并与其归一化坐标进行拼接，组合成关键点的局部融合特征向量；然后连接同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，利用这些边和关键点构成一种时空拓扑图；接着，构建一种时空图卷积神经网络，用生成的时空拓扑图对其进行训练；最后将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息，可以克服光照、肤色、姿态变化的影响，提升表情识别的准确率和鲁棒性。
-
公开(公告)号：CN112800894A
公开(公告)日：2021-05-14
申请号：CN202110061153.7
申请日：2021-01-18
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空流间注意力机制的动态表情识别方法及系统。该方法首先采集面部表情视频片段，建立包含表情类别标签的人脸表情视频库；然后构建一种嵌入时空流间注意力机制模块的双流卷积神经网络模型，该模型包括数据处理层、空间流支路、时间流支路、时空流间注意力机制模块、特征融合层、全连接层以及分类层；接着使用人脸表情视频库中的视频样本训练该模型；最后利用训练好的模型，对新输入的视频进行人脸表情识别。该方法通过在双流卷积神经网络中嵌入时空流间注意力机制模块，能够实现空域特征和时域特征的信息交互，从而捕捉空域特征和时域特征之间的动态关联信息，获得鉴别能力强的特征，提升人脸表情识别的准确性和鲁棒性。
-
公开(公告)号：CN112365543B
公开(公告)日：2021-04-20
申请号：CN202110029523.9
申请日：2021-01-11
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于光学影像的地质结构面提取方法、装置，所述方法包括：采集地质对象的光学影像序列，从中生成密集点云，并获取密集点云的真实空间位置；计算密集点云中各点的法向量，并依据各点的法向量计算相应的局部产状；将地质对象按照影像纹理语义划分为多个同质区域单元，对于同质区域单元内具有一致性的各像素点集合确定为结构面单元；将具有相似产状的邻接结构面单元进行合并聚类，建立结构面单元集合的地质拓扑邻接图。采用本方案，通过影像纹理语义进行同质区域单元划分，并结合产状进行结构面单元的合并聚类，有效实现结构面与非结构面的判别，进行结构面的提取。
-
公开(公告)号：CN112365543A
公开(公告)日：2021-02-12
申请号：CN202110029523.9
申请日：2021-01-11
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于光学影像的地质结构面提取方法、装置，所述方法包括：采集地质对象的光学影像序列，从中生成密集点云，并获取密集点云的真实空间位置；计算密集点云中各点的法向量，并依据各点的法向量计算相应的局部产状；将地质对象按照影像纹理语义划分为多个同质区域单元，对于同质区域单元内具有一致性的各像素点集合确定为结构面单元；将具有相似产状的邻接结构面单元进行合并聚类，建立结构面单元集合的地质拓扑邻接图。采用本方案，通过影像纹理语义进行同质区域单元划分，并结合产状进行结构面单元的合并聚类，有效实现结构面与非结构面的判别，进行结构面的提取。
-
公开(公告)号：CN109919061A
公开(公告)日：2019-06-21
申请号：CN201910145001.8
申请日：2019-02-27
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，所述方法包括：1)在情感数据库中选取一定数量的样本；2)提取样本数据中的姿态特征和语音特征；3)对特征矩阵进行归一化处理；4)使用稀疏典型相关分析法，将特征矩阵进行融合，计算融合后的特征矩阵；5)将融合后的特征矩阵f放入支持向量机中进行情感识别。本发明加入稀疏典型处理后，不仅解决了双模态融合难的问题，还起到了特征降维的目的，解决了现有双模态特征层融合情感识别不佳的问题，提高了识别率。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.035 seconds)
