一种基于带噪标签学习的无监督跨模态哈希检索方法

    公开(公告)号:CN112836068B

    公开(公告)日:2023-09-26

    申请号:CN202110312838.4

    申请日:2021-03-24

    Applicant: 南京大学

    Inventor: 詹德川 杭诚 王魏

    Abstract: 本发明公开了一种基于带噪标签学习的无监督跨模态哈希检索方法,包括多模态数据采集步骤、对偶多模态神经网络搭建步骤、基于预训练神经网络提取带噪声的相似度伪标签、基于带噪声标签学习的无监督跨模态哈希训练步骤和最终的对偶跨模态哈希检索的测试步骤。本发明可以通过设置两个对偶哈希模型组,相互喂给对方相对来说比较干净的伪标签,从而使得模型的学习尽可能少的受到噪声伪标签的误导,最终效果是模型收敛到一个更好的位置,在测试数据集上表现要比别的无监督跨模态哈希方法要好。

    一种基于局部与全局信息的图片选择标注方法

    公开(公告)号:CN113269226A

    公开(公告)日:2021-08-17

    申请号:CN202110399472.9

    申请日:2021-04-14

    Applicant: 南京大学

    Inventor: 王魏 李文韬 陈攀

    Abstract: 本发明公开一种基于局部与全局信息的图片选择标注方法,通过让学习模型自动地选择部分图片进行标注,能够利用尽可能少的有标记图片学到尽可能好的模型。为了降低图片标记的需求,该方法利用深度模型的特征提取能力构建图片样本的特征表示空间,基于图片样本在特征表示空间的局部信息衡量样本对于模型更新的作用。同时基于特征表示空间的全局信息将图片数据空间划分为不同的区域,根据模型在不同区域上的性能动态分配标注预算,从而高效地利用图片标记信息,降低图片标记的需求。

    一种基于带噪标签学习的无监督跨模态哈希检索方法

    公开(公告)号:CN112836068A

    公开(公告)日:2021-05-25

    申请号:CN202110312838.4

    申请日:2021-03-24

    Applicant: 南京大学

    Inventor: 詹德川 杭诚 王魏

    Abstract: 本发明公开了一种基于带噪标签学习的无监督跨模态哈希检索方法,包括多模态数据采集步骤、对偶多模态神经网络搭建步骤、基于预训练神经网络提取带噪声的相似度伪标签、基于带噪声标签学习的无监督跨模态哈希训练步骤和最终的对偶跨模态哈希检索的测试步骤。本发明可以通过设置两个对偶哈希模型组,相互喂给对方相对来说比较干净的伪标签,从而使得模型的学习尽可能少的受到噪声伪标签的误导,最终效果是模型收敛到一个更好的位置,在测试数据集上表现要比别的无监督跨模态哈希方法要好。

    一种基于图像文本模型和视频多头表征的视频检索方法

    公开(公告)号:CN118377932A

    公开(公告)日:2024-07-23

    申请号:CN202410413760.9

    申请日:2024-04-08

    Applicant: 南京大学

    Inventor: 王魏 俞星凯

    Abstract: 本发明公开一种基于图像文本模型和视频多头表征的视频检索方法,首先用户需要准备好一个视频库和查询文本库,以及从查询文本到视频的映射标记。为了利用图像文本预训练模型,对视频库均匀降采样抽帧,每个视频变为若干个图像组成的序列,先将图像独立由ViT处理为向量表征,再通过时序Transformer学习视频内的图像序列关系。由于真实视频可能存在多个自然段具有不同语义,采用多头表示将图像序列进行多种线性加权组合,于是每个视频被编码为若干个向量表征。而图像文本预训练模型已经可以将文本编码成向量表征,最后使用对比学习的InfoNCE损失优化来对齐表征。推理阶段预先处理视频存储向量数据库,实时计算用户查询表征,执行相似度搜索给出排序,以实现低延迟高并发视频检索。

    一种利用混合无标记数据的半监督域泛化故障检测方法

    公开(公告)号:CN117556301A

    公开(公告)日:2024-02-13

    申请号:CN202311570546.6

    申请日:2023-11-23

    Applicant: 南京大学

    Inventor: 王魏 张磊 李济孚

    Abstract: 本发明公开一种利用混合无标记数据的半监督域泛化故障检测方法,首先用户需要准备好若干个来自不同域的故障检测对象库,通过人工标注的方法为每个库中的少量对象提供类别标记,这些有类别标记的对象称为有标记训练数据,其组成的类别空间称为已知类;其余没有类别标记的对象称为无标记训练数据,其真实类别可能与有标记训练数据的类别相同,也有可能不同,与有标记训练数据不同的类别称为未知类。然后通过利用一对其余分类模型,逐类自适应置信度阈值以及一致性正则等技术,有效地将无标记训练数据中的已知类以及未知类样本区分开来,更加精细化地分别利用已知类和未知类样本进行训练,提高故障检测的准确度。

    一种利用混合未标记数据的分布外样本检测方法

    公开(公告)号:CN115730656A

    公开(公告)日:2023-03-03

    申请号:CN202211434819.X

    申请日:2022-11-16

    Inventor: 王魏 孙一轩

    Abstract: 本发明公开了一种利用混合未标记数据的分布外样本检测方法,具体步骤如下:(一)首先用户需要准备好一个对象库,通过人工标注的方法为库中的少量对象提供一个类别标记,这些有类别标记的对象称为有标记训练数据,一共有K个类别,其余没有类别标记地对象称为未标记训练数据。由于这些未标记训练数据可能混杂有分布内和分布外的样本,因此也称之为混合未标记数据;(二)本发明通过利用自适应温度以及动态置信度阈值等技术,有效地将未标记训练数据中的分布内以及分布外样本区分开来,使得训练得到的模型可以在保证分布内样本分类准确率的同时,更为准确地检测分布外样本。

    一种基于分组加权的多机构联合的图像识别模型训练方法

    公开(公告)号:CN115730655A

    公开(公告)日:2023-03-03

    申请号:CN202211597343.1

    申请日:2022-12-12

    Applicant: 南京大学

    Inventor: 王魏 蔡驰宇

    Abstract: 本发明公开一种基于分组加权的多机构联合的图像识别模型训练方法,该方法可以应用于医疗图像识别等拥有多个参与方的协作学习任务。为了缓解医疗图像数据分布不一致带来的影响,首先,本发明根据客户端模型和组内全局模型的相似程度为客户端分组;对于组内客户端,本发明根据组内客户端本地模型两两之间的相似程度,为每个客户端计算个性化模型。相比现有技术,本发明能够在降低客户端计算开销的同时,为参与方提供更好的图像识别模型。

    一种基于对比损失的多视图半监督图像分类方法

    公开(公告)号:CN114898141A

    公开(公告)日:2022-08-12

    申请号:CN202210350338.4

    申请日:2022-04-02

    Applicant: 南京大学

    Inventor: 王魏 朱明璇

    Abstract: 本发明公开了一种基于对比损失的多视图半监督图像分类方法,在无标签数据上利用自监督对比损失,能够充分利用数据的潜在特征,同时基于监督对比损失,利用类别监督信息,并借助多视图的一致性对不同视图信息进行融合,实现了不需要借助伪标签提升模型在多视图分类任务上的精度。此方法针对半监督场景下的多视图图像分类任务,能够利用少量的标注信息并借助多视图之间的一致性提升分类性能,适用于解决缺乏数据标签信息的多视图图像分类任务。

Patent Agency Ranking