-
公开(公告)号:CN118245860B
公开(公告)日:2025-03-14
申请号:CN202410172812.8
申请日:2024-02-07
Applicant: 南京邮电大学
IPC: G06F18/241 , G06F18/2131 , G06F18/2415 , G06N3/047 , G06N3/0442 , G06N3/045 , A61B7/04
Abstract: 本发明公开了一种基于同步挤压短时傅里叶变换和BiGRU的心音分段方法及系统,该方法包括:构建一个基于同步挤压短时傅里叶变换(SSTFT)和BiGRU的心音分段模型,该模型由SSTFT单元、BiGRU网络、Softmax分类器构成;使用心音数据集的样本对心音分段模型进行训练;将待分段的心音信号输入到训练好的心音分段模型进行状态分类,分成第一心音(S1)、第二心音(S2)、S1‑S2间期、S2‑S1间期4种状态类别;修正心音分段模型预测的错误状态类别;该系统包括:模型构建模块、模型训练模块、心音状态分类模块和状态修正模块。本发明能够地有效提升心音分段的定位精度和准确率。
-
公开(公告)号:CN117994830B
公开(公告)日:2025-01-17
申请号:CN202311843748.3
申请日:2023-12-28
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/774 , G06V10/46
Abstract: 本发明公开了一种基于图像块位置感知Transformer的表情识别方法及系统,该方法包括以下步骤:构建一个基于图像块位置感知Transformer的表情识别模型,该模型由图像预处理单元、初始特征提取单元、特征块位置选定单元、视觉Transformer单元和分类器构成;使用人脸表情图像库中的样本对表情识别模型进行训练;将待测试的人脸图像输入到训练好的表情识别模型进行表情识别。本发明以迭代渐进的不固定间隔来选定特征块的位置,排除对表情识别有干扰的特征块,强化对表情识别起关键作用的特征块,从而使得表情识别模型能够提取更具鉴别力的表情特征,增强模型对面部被遮挡、头部姿态变化、光照不均匀的鲁棒性,有效提升表情识别的准确率和泛化性能。
-
公开(公告)号:CN116206062A
公开(公告)日:2023-06-02
申请号:CN202310248964.7
申请日:2023-03-15
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于虚拟现实引擎实现二维指导三维的场景模拟方法、装置、存储介质及设备,属于场景模拟与仿真技术领域,方法包括:获取二维图像;对二维图像进行等值预处理得到二维等值线图;将二维等值线图导入虚拟现实引擎构建三维场景模型,将预先构建的元素的三维模型导入虚拟现实引擎;对元素进行设置使三维场景模型达到一级态势评估效果和二级态势评估效果;将二维图像导入三维场景模型的顶层,将三维场景模型中的各个类处理成图标,实现二维指导三维;将二维图像中预设的起点坐标和终点坐标输入到预设的路线调整算法中,得到元素的最优路线,根据最优路线对元素进行移动;本发明能够提高场景模拟精确度和仿真效果。
-
公开(公告)号:CN115331284A
公开(公告)日:2022-11-11
申请号:CN202210897253.8
申请日:2022-07-28
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于自愈机制的真实场景下的人脸表情识别方法及系统。该方法包括以下步骤:建立含有不确定表情类别标签的人脸样本集;构建一个包含特征提取模块、全连接层和分类层的人脸表情识别模型;在对人脸表情识别模型进行训练的过程中,通过引入对具有不确定类别标签的样本进行重新标注的自愈机制,实现对不确定类别标签的自我修正;将待测的人脸图像输入到训练好的人脸表情识别模型进行表情识别。该方法可以有效消除具有错误标签的训练样本导致模型过拟合的不利影响,可以在掺杂不准确或错误类别标签的人脸表情数据集中学习到鲁棒的表情特征,从而提升真实场景下人脸表情识别的准确率和鲁棒性。
-
公开(公告)号:CN112800903B
公开(公告)日:2022-08-26
申请号:CN202110067161.2
申请日:2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测,得到关键点的归一化坐标和编号;提取关键点的局部纹理特征向量,并与其归一化坐标进行拼接,组合成关键点的局部融合特征向量;然后连接同帧间的关键点形成空域边,连接相邻帧相同编号的关键点形成时域边,利用这些边和关键点构成一种时空拓扑图;接着,构建一种时空图卷积神经网络,用生成的时空拓扑图对其进行训练;最后将基于新的表情序列生成的时空拓扑图作为输入,利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息,可以克服光照、肤色、姿态变化的影响,提升表情识别的准确率和鲁棒性。
-
公开(公告)号:CN112818861B
公开(公告)日:2022-07-26
申请号:CN202110141728.6
申请日:2021-02-02
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于多模态上下文语义特征的情感分类方法及系统。该方法包括:将短视频以话语为单位分割成相同数量的语义单元,生成对应的视频、语音和文本样本,并提取表情特征、语谱图和句子向量三种表征特征;将提取的三种表征特征分别输入到表情、语音、文本情感特征编码器,提取对应的情感语义特征;分别使用表情、语音、文本情感语义特征的上下文关系,构建相应的邻接矩阵;分别将表情、语音、文本情感语义特征以及相应的邻接矩阵输入对应的图卷积神经网络,提取对应的上下文情感语义特征,并融合得到多模态情感特征,用于情感的分类识别。本发明通过图卷积神经网络更好地利用情感语义特征的上下文关系,能有效地提高情感分类的准确率。
-
公开(公告)号:CN112926502A
公开(公告)日:2021-06-08
申请号:CN202110307024.1
申请日:2021-03-23
Applicant: 南京邮电大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于核化双群稀疏学习的微表情识别方法及系统,该方法主要包括:(1)从微表情数据集样本中分别提取两组不同类型的特征向量,构建相应的特征矩阵;(2)对每个特征向量赋予一个权重,构建核化双群稀疏学习模型,用于学习每个特征向量的权重;(3)求解核化双群稀疏学习模型,得到每个特征向量的权重;(4)对于输入的测试视频,提取两组不同类型的特征,并将权重高于阈值的特征向量拼接在一起作为微表情特征向量;(5)使用分类器对微表情特征向量进行分类,得到微表情类别。本发明利用微表情数据集中的训练样本学习每个特征向量的权重,从两组不同特征中自动筛选出最优特征向量用于微表情识别,能够有效提升识别准确率。
-
公开(公告)号:CN112801153A
公开(公告)日:2021-05-14
申请号:CN202110067281.2
申请日:2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种嵌入局部二值模式(LBP)特征的图的半监督图像分类方法及系统。该方法首先建立包含有标签样本和无标签样本的图像库;然后构建一种卷积神经网络模型,并利用图像库中的有标签样本训练出初始模型;进而将有标签样本与无标签样本一起输入初始模型,提取样本的特征向量,以此特征向量构建一个邻接矩阵Wcnn;接着使用输入样本图像的LBP特征再构建一个邻接矩阵Wlbp;将Wcnn与Wlbp相加得到新的邻接矩阵W,根据W构建一个图,通过标签传播得到无标签样本的伪标签;最后基于初始模型使用图像库中所有样本及其标签训练出最终的模型,用于图像分类。本发明通过引入图像的LBP特征来构建图,使得通过标签传播得到的标签的置信度更高,有利于提高图像分类的准确率。
-
公开(公告)号:CN112800998A
公开(公告)日:2021-05-14
申请号:CN202110159085.8
申请日:2021-02-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括:对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征;使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征;对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法,得到脑电‑外周生理‑表情多模态情感特征;使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征,并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性,可以有效提高情感识别的准确率和鲁棒性。
-
公开(公告)号:CN112800903A
公开(公告)日:2021-05-14
申请号:CN202110067161.2
申请日:2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测,得到关键点的归一化坐标和编号;提取关键点的局部纹理特征向量,并与其归一化坐标进行拼接,组合成关键点的局部融合特征向量;然后连接同帧间的关键点形成空域边,连接相邻帧相同编号的关键点形成时域边,利用这些边和关键点构成一种时空拓扑图;接着,构建一种时空图卷积神经网络,用生成的时空拓扑图对其进行训练;最后将基于新的表情序列生成的时空拓扑图作为输入,利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息,可以克服光照、肤色、姿态变化的影响,提升表情识别的准确率和鲁棒性。
-
-
-
-
-
-
-
-
-