-
公开(公告)号:CN118410387A
公开(公告)日:2024-07-30
申请号:CN202410667871.2
申请日:2024-05-28
Applicant: 南京工业大学
IPC: G06F18/24 , G10L25/63 , G06F18/25 , G06V40/16 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明提供一种基于互信息的多模态情感识别方法及系统,方法包括获取视频数据和音频数据;根据所述视频数据和音频数据以及已经训练好的多模态情感识别模型,获得情感分类结果;其中,在所述多模态情感识别模型中,定义总体损失函数,基于得到的总体损失,训练多模态情感识别模型;所述总体损失函数由单模态特有信息学习损失函数、模态间的共同信息学习损失函数、多模态融合特征最小充分表示损失函数、情感识别分类损失函数组成。本发明利用互信息剔除冗余信息、提取相关信息,并挖掘不同模态之间的互补性,提高了多模态情感识别精度。
-
公开(公告)号:CN116958683A
公开(公告)日:2023-10-27
申请号:CN202310927881.0
申请日:2023-07-26
Applicant: 南京工业大学
IPC: G06V10/764 , G06V10/80 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明提供一种基于低秩多模态融合网络的MRI数据分类方法,首先,获取原始sMRI和fMRI的数据,分别对原始sMRI和fMRI的数据进行预处理,其次,基于低秩多模态融合网络分别从sMRI和fMRI两种不同模态的数据中提取特征向量,并采用低秩张量对提取后的特征向量进行融合,将融合后的特征输入支持向量机进行分类,基于总体损失函数采用端到端的方式训练低秩多模态融合网络,最后将测试集输入到训练好的低秩多模态融合网络中,得到测试样本的输出类别;本发明提供的基于低秩多模态融合网络的MRI数据分类方法,减小了不同模态间的异构性,增强了多模态融合的效果,提高了多模态分类模型的精度。
-
公开(公告)号:CN118038167A
公开(公告)日:2024-05-14
申请号:CN202410231530.0
申请日:2024-02-29
Applicant: 南京工业大学
IPC: G06V10/764 , G06V10/774 , G06V10/776 , G06V10/77 , G06V10/74 , G06V10/82 , G06N3/0455 , G06N3/0985
Abstract: 本发明提供一种基于度量元学习的小样本图像分类方法,所述方法包括特征映射模块、交叉注意力模块、距离度量模块、损失函数模块四部分构成的度量元学习模型。首先获取图像分类数据集,将数据集按照类别划分为训练集和测试集,且这两个数据集标签类别的交集为空集;从训练集中抽取大量小样本图像分类训练任务,从测试集构建目标小样本图像分类任务;构建由特征映射模块、交叉注意力模块、距离度量模块、损失函数模块组成的度量元学习模型;基于小样本分类训练任务,以最小化总体损失函数为目标,对度量元学习模型进行元训练,得到小样本图像分类模型;对于目标小样本任务,将测试集的支持集和查询集送入训练好的小样本图像分类模型,根据余弦距离度量模块来计算测试集查询样本的标签。本发明提供的基于度量元学习的小样本图像分类方法,减小同类别样本特征之间差异性,提升了特征空间中同类别特征分布的紧凑性,提高了特征提取模块的特征提取能力,从而提升了度量元学习模型在小样本图像分类任务上的分类精度。
-
公开(公告)号:CN118447554A
公开(公告)日:2024-08-06
申请号:CN202410573512.0
申请日:2024-05-10
Applicant: 南京工业大学
IPC: G06V40/16 , G06V20/40 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于梯度动态调节的多模态情感识别方法及装置,其方法包括获取待识别的多模态情感识别数据;将预处理后的多模态情感识别数据输入训练好的多模态情感识别模型,获取多模态情感识别结果;其中,多模态情感识别模型的训练过程包括:获取带真实标签的多模态情感识别数据作为训练样本;构建多模态情感识别模型,将预处理后的训练样本输入构建的多模态情感识别模型进行训练,基于梯度动态调节策略更新模型参数直至模型参数收敛或达到最大迭代次数;本发明提供的梯度动态调节策略在训练过程中动态调节不同模态参数的梯度,使得多模态的参数调节速度接近,确保其均衡优化,提高了多模态情感识别模型的准确率。
-
公开(公告)号:CN118823440A
公开(公告)日:2024-10-22
申请号:CN202410804059.X
申请日:2024-06-20
Applicant: 南京工业大学
IPC: G06V10/764 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种多模态MRI图像分类识别方法。首先,获取带真实标签的脑部多模态MRI数据集作为训练样本;对获取的sMRI和fMRI数据预处理;构建多模态MRI数据分类识别模型;将预处理后的所述数据输入构建的多模态MRI数据分类识别模型进行训练;获取待识别的多模态MRI数据,对所述多模态数据进行预处理;将预处理后待识别的sMRI和fMRI数据输入训练好的多模态MRI分类识别模型,获取多模态MRI数据分类识别结果;本发明提出的一种多模态MRI图像分类识别方法,在减小sMRI和fMRI两种不同模态间分布差异的同时,可以减小不同模态收敛速度差异,有效地减轻了不同模态之间的异质性,充分利用了不同模态的互补性,得到了丰富的特征信息,提升了多模态MRI图像分类识别模型的性能。
-
公开(公告)号:CN115937581A
公开(公告)日:2023-04-07
申请号:CN202211483862.5
申请日:2022-11-24
Applicant: 南京工业大学
IPC: G06V10/764 , G06V10/774 , G06V10/77 , G06T7/00 , A61B5/055
Abstract: 本发明涉及核磁共振图像处理技术领域,且公开了一种多站点fMRI数据的分类识别方法,包括以下操作步骤:S1、从自闭症脑成像数据交换库ABIDE获取自闭症患者和正常对照组的静息态功能性核磁共振成像数据;S2、采用DPARSF软件对所获取的多站点fMRI脑影像数据进行预处理,包括切片时间层校正、头动校正、空间标准化、空间平滑、消除线性趋势、时间带通滤波和协变量回归;S3、对照生理学脑图谱将预处理后的fMRI脑影像数据分割成多个不同功能的脑区,并提取每个脑区的平均体素时间序列。该多站点fMRI数据的分类识别方法,适用于处理诸如医学脑影像这种不同类别数据之间差异很小的数据集,通过该方法可以有效地增大不同类别数据之间的差异性以提高模型分类的准确性。
-
-
-
-
-