公开(公告)号：CN116958683A

公开(公告)日：2023-10-27

申请号：CN202310927881.0

申请日：2023-07-26

Applicant: 南京工业大学

Inventor： 王莉 ,  薛旻昊 ,  汪磊 ,  王康宁 ,  沈捷

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明提供一种基于低秩多模态融合网络的MRI数据分类方法，首先，获取原始sMRI和fMRI的数据，分别对原始sMRI和fMRI的数据进行预处理，其次，基于低秩多模态融合网络分别从sMRI和fMRI两种不同模态的数据中提取特征向量，并采用低秩张量对提取后的特征向量进行融合，将融合后的特征输入支持向量机进行分类，基于总体损失函数采用端到端的方式训练低秩多模态融合网络，最后将测试集输入到训练好的低秩多模态融合网络中，得到测试样本的输出类别；本发明提供的基于低秩多模态融合网络的MRI数据分类方法，减小了不同模态间的异构性，增强了多模态融合的效果，提高了多模态分类模型的精度。

公开(公告)号：CN118447554A

公开(公告)日：2024-08-06

申请号：CN202410573512.0

申请日：2024-05-10

Applicant: 南京工业大学

Inventor： 王莉 ,  王康宁 ,  薛旻昊 ,  蒋顺举 ,  沈捷

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于梯度动态调节的多模态情感识别方法及装置，其方法包括获取待识别的多模态情感识别数据；将预处理后的多模态情感识别数据输入训练好的多模态情感识别模型，获取多模态情感识别结果；其中，多模态情感识别模型的训练过程包括：获取带真实标签的多模态情感识别数据作为训练样本；构建多模态情感识别模型，将预处理后的训练样本输入构建的多模态情感识别模型进行训练，基于梯度动态调节策略更新模型参数直至模型参数收敛或达到最大迭代次数；本发明提供的梯度动态调节策略在训练过程中动态调节不同模态参数的梯度，使得多模态的参数调节速度接近，确保其均衡优化，提高了多模态情感识别模型的准确率。

公开(公告)号：CN118038167A

公开(公告)日：2024-05-14

申请号：CN202410231530.0

申请日：2024-02-29

Applicant: 南京工业大学

Inventor： 王莉 ,  汪磊 ,  薛旻昊 ,  王康宁 ,  程明 ,  沈捷

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/776 ,  G06V10/77 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0985

Abstract: 本发明提供一种基于度量元学习的小样本图像分类方法，所述方法包括特征映射模块、交叉注意力模块、距离度量模块、损失函数模块四部分构成的度量元学习模型。首先获取图像分类数据集，将数据集按照类别划分为训练集和测试集，且这两个数据集标签类别的交集为空集；从训练集中抽取大量小样本图像分类训练任务，从测试集构建目标小样本图像分类任务；构建由特征映射模块、交叉注意力模块、距离度量模块、损失函数模块组成的度量元学习模型；基于小样本分类训练任务，以最小化总体损失函数为目标，对度量元学习模型进行元训练，得到小样本图像分类模型；对于目标小样本任务，将测试集的支持集和查询集送入训练好的小样本图像分类模型，根据余弦距离度量模块来计算测试集查询样本的标签。本发明提供的基于度量元学习的小样本图像分类方法，减小同类别样本特征之间差异性，提升了特征空间中同类别特征分布的紧凑性，提高了特征提取模块的特征提取能力，从而提升了度量元学习模型在小样本图像分类任务上的分类精度。

公开(公告)号：CN118410387A

公开(公告)日：2024-07-30

申请号：CN202410667871.2

申请日：2024-05-28

Applicant: 南京工业大学

Inventor： 王莉 ,  王康宁 ,  薛旻昊 ,  蒋顺举 ,  沈捷

IPC: G06F18/24 ,  G10L25/63 ,  G06F18/25 ,  G06V40/16 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种基于互信息的多模态情感识别方法及系统，方法包括获取视频数据和音频数据；根据所述视频数据和音频数据以及已经训练好的多模态情感识别模型，获得情感分类结果；其中，在所述多模态情感识别模型中，定义总体损失函数，基于得到的总体损失，训练多模态情感识别模型；所述总体损失函数由单模态特有信息学习损失函数、模态间的共同信息学习损失函数、多模态融合特征最小充分表示损失函数、情感识别分类损失函数组成。本发明利用互信息剔除冗余信息、提取相关信息，并挖掘不同模态之间的互补性，提高了多模态情感识别精度。

公开(公告)号：CN116403151A

公开(公告)日：2023-07-07

申请号：CN202211642729.X

申请日：2022-12-20

Applicant: 南京工业大学

Inventor： 王莉 ,  徐硕 ,  曹恺 ,  薛旻昊 ,  李鑫 ,  沈捷

IPC: G06V20/52 ,  G06V10/82 ,  G06N3/04 ,  G06N3/084 ,  G06V10/762

Abstract: 本发明公开了一种基于自适应深度神经网络的地铁人流密度估计方法。该方法包括步骤：数据处理，自适应K‑means聚类确定锚框数量及锚框长宽，不同尺度的特征提取，根据自适应K‑means聚类结果自动确定特征融合网络不同尺度的特征图，利用自适应融合网络ASFF融合不同尺度特征之间的不一致性，对不同尺度的特征图进行预测并计算损失，行人头部检测模型网络训练，以及实时的人流密度估计。相比现有技术，本发明在检测速度、检测精度上都有大幅度的提升。

公开(公告)号：CN118823440A

公开(公告)日：2024-10-22

申请号：CN202410804059.X

申请日：2024-06-20

Applicant: 南京工业大学

Inventor： 王莉 ,  蒋顺举 ,  薛旻昊 ,  王康宁 ,  沈捷

IPC: G06V10/764 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种多模态MRI图像分类识别方法。首先，获取带真实标签的脑部多模态MRI数据集作为训练样本；对获取的sMRI和fMRI数据预处理；构建多模态MRI数据分类识别模型；将预处理后的所述数据输入构建的多模态MRI数据分类识别模型进行训练；获取待识别的多模态MRI数据，对所述多模态数据进行预处理；将预处理后待识别的sMRI和fMRI数据输入训练好的多模态MRI分类识别模型，获取多模态MRI数据分类识别结果；本发明提出的一种多模态MRI图像分类识别方法，在减小sMRI和fMRI两种不同模态间分布差异的同时，可以减小不同模态收敛速度差异，有效地减轻了不同模态之间的异质性，充分利用了不同模态的互补性，得到了丰富的特征信息，提升了多模态MRI图像分类识别模型的性能。