基于跨模态对齐和原型多样化的连续小样本图片分类方法

    公开(公告)号:CN119152294A

    公开(公告)日:2024-12-17

    申请号:CN202411645184.7

    申请日:2024-11-18

    Abstract: 本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法,该方法包括:首先对输入图片添加视觉软提示提取图片特征,并将图片特征输入特征适配器获取优化后的图片特征,同时对类别标签添加文本软提示提取初步的类别文本原型;其次,将优化后的图片特征输入原型偏置器,对类别文本原型进行调整,从而获得融入视觉信息的类别文本原型;最后计算上述类别文本原型与图片特征之间的相似度,并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正,有利于提升输入图片的分类精度;本发明实现方法简便、灵活,显著提高了新类别的预测精度,同时可以有效缓解模型在旧类别的灾难性遗忘现象。

    一种基于退化图像的检测模型训练以及检测方法及装置

    公开(公告)号:CN117611951A

    公开(公告)日:2024-02-27

    申请号:CN202311815373.X

    申请日:2023-12-26

    Abstract: 本说明书公开了一种基于退化图像的检测模型训练以及检测方法及装置。所述任务执行方法包括:根据获取到的各样本图像,确定合成图像。针对每个检测模型,将合成图像输入到该检测模型的图像恢复网络中,得到该检测模型的图像恢复网络输出的恢复后图像,并将恢复后图像输入到该检测模型的目标检测网络中,得到该检测模型的目标检测网络输出的目标检测结果,作为该检测模型对应的目标检测结果。以最小化该检测模型的图像恢复网络针对合成图像输出的恢复后图像与合成图像对应的真实清晰图像之间的偏差,以及最小化该检测模型针对合成图像的目标检测结果与合成图像对应的实际结果之间的偏差为优化目标,对该检测模型进行训练。

    基于类特定元提示学习的小样本类增对象识别方法和装置

    公开(公告)号:CN117011672A

    公开(公告)日:2023-11-07

    申请号:CN202311259542.6

    申请日:2023-09-27

    Abstract: 本发明公开了一种基于类特定元提示学习的小样本类增对象识别方法和装置,该方法包括:采用基础任务的大量有标签图片构造基于类别特定提示的跨模态特征学习网络;从基础任务中构造具有伪基础任务和多阶段伪增量任务的元学习情景训练数据集,用以模拟真实的小样本类增对象识别任务;针对每个伪学习任务,使用支持集图片,构造类特定的提示向量,使用查询集图片,优化跨模态特征学习网络中的提示生成器及上下文提示向量;使用最终的跨模态特征学习网络获取增量任务的所有类别文本特征,根据测试图片的图片特征与所有类别文本特征的余弦相似度进行类别识别。本发明实现方法简便、灵活,显著提高了新类别的泛化能力,缓解旧类别的灾难性遗忘现象。

    一种骨支架模型内扩散场的模拟方法和装置

    公开(公告)号:CN116153523A

    公开(公告)日:2023-05-23

    申请号:CN202310216414.7

    申请日:2023-03-02

    Abstract: 本发明公开了一种骨支架模型内扩散场的模拟方法和装置,构建需要模拟的骨支架模型,设置扩散物质、扩散物质对应的扩散方程、模拟的各项初始参数;构建用于扩散场模拟的神经网络,从骨支架模型内采样三维点作为样本点,并将样本点处的初始参数带入扩散方程后,根据扩散方程构建损失函数;以样本点及扩散时刻作为神经网络的输入,并采用损失函数对神经网络进行参数优化;利用参数优化的神经网络进行扩散场模拟得到模拟扩散结果。该方法在确保模拟精度的情况下,尽可能提升模拟运算速率。

    一种融合上下文进行超类推理的零样本对象检测方法

    公开(公告)号:CN112749738B

    公开(公告)日:2023-05-23

    申请号:CN202011618077.7

    申请日:2020-12-30

    Inventor: 李亚南 李太豪

    Abstract: 本发明公开了一种融合上下文进行超类推理的零样本对象检测方法,该方法可用于在缺失有标签训练图片的情况下,定位并识别以往从未见过的全新的对象。首先使用对象检测网络预测输入图片中可能存在的对象框,其次基于对象框的视觉特征定位对象位置,并使用标签语义向量预测特定的对象类别,同时采用多层空洞卷积提取候选对象框的上下文信息,并使用抽取的上下文信息预测相应的超类,最后将预测的特定类别与超类进行融合,达到最终的识别结果。该发明实现方法简便、灵活,可以显著改善未见类对象的检测性能。

    基于超体素聚类及原型优化的图像分割、训练方法及装置

    公开(公告)号:CN115359074A

    公开(公告)日:2022-11-18

    申请号:CN202211284399.1

    申请日:2022-10-20

    Abstract: 本发明公开了基于超体素聚类及原型优化的图像分割、训练方法及装置,使用训练数据进行无监督超体素聚类;基于超体素聚类结果构造基于伪标签的元学习训练数据集;采用元学习训练数据集构造基于原型优化的小样本医疗图像分割网络;将测试类的有标签训练图片输入上述小样本图像分割网络,提取相应的图片特征,根据图片所对应的真实分割掩码,计算该类别的类原型向量;将测试类的测试图片输入上述网络提取特征,计算测试图片特征与类原型向量之间的余弦相似度,并基于相似度对原型进行优化;计算图片特征与优化后的原型向量之间的余弦相似度,并对余弦相似度进行归一化处理,将相似度大于分类阈值的位置,预测为前景所在位置,得到最终的分割结果。

    一种基于双路结构对比嵌入学习的小样本对象分类方法

    公开(公告)号:CN113869462B

    公开(公告)日:2022-06-10

    申请号:CN202111456162.2

    申请日:2021-12-02

    Abstract: 本发明涉及计算机视觉领域,尤其涉及一种基于双路结构对比嵌入学习的小样本对象分类方法,包括以下步骤:步骤一:使用基础类的大规模有标签数据构造双路结构对比嵌入网络;步骤二:将全新类的少量有标签图片依次输入所述双路结构对比嵌入网络,提取相应的图片特征,计算每个类别中所有图片特征的均值作为该类别的原型;步骤三:将测试图片输入双路结构对比嵌入网络提取图片特征,计算测试图片特征与所有类别的原型之间的余弦相似度,并对余弦相似度进行归一化处理,选取具有相似度最大值的对象类别作为测试图片的最终预测结果。本发明方法简便、灵活,可以提高特征嵌入学习网络的泛化能力,从而提高模型的训练速度并改善全新类对象的分类性能。

    基于跨模态对齐和原型多样化的连续小样本图片分类方法

    公开(公告)号:CN119152294B

    公开(公告)日:2025-04-04

    申请号:CN202411645184.7

    申请日:2024-11-18

    Abstract: 本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法,该方法包括:首先对输入图片添加视觉软提示提取图片特征,并将图片特征输入特征适配器获取优化后的图片特征,同时对类别标签添加文本软提示提取初步的类别文本原型;其次,将优化后的图片特征输入原型偏置器,对类别文本原型进行调整,从而获得融入视觉信息的类别文本原型;最后计算上述类别文本原型与图片特征之间的相似度,并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正,有利于提升输入图片的分类精度;本发明实现方法简便、灵活,显著提高了新类别的预测精度,同时可以有效缓解模型在旧类别的灾难性遗忘现象。

    基于类特定元提示学习的小样本类增对象识别方法和装置

    公开(公告)号:CN117011672B

    公开(公告)日:2024-01-09

    申请号:CN202311259542.6

    申请日:2023-09-27

    Abstract: 本发明公开了一种基于类特定元提示学习的小样本类增对象识别方法和装置,该方法包括:采用基础任务的大量有标签图片构造基于类别特定提示的跨模态特征学习网络;从基础任务中构造具有伪基础任务和多阶段伪增量任务的元学习情景训练数据集,用以模拟真实的小样本类增对象识别任务;针对每个伪学习任务,使用支持集图片,构造类特定的提示向量,使用查询集图片,优化跨模态特征学习网络中的提示生成器及上下文提示向量;使用最终的跨模态特征学习网络获取增量任务的所有类别文本特征,根据测试图片的图片特征与所有类别文本特征的余弦相似度进行类别识别。本发明实现方法简便、灵活,显著提高了新类别的泛化能力,缓解旧类别的灾难性遗忘现象。

    多模态后融合的长尾类别检测方法和系统

    公开(公告)号:CN116977810A

    公开(公告)日:2023-10-31

    申请号:CN202311236786.2

    申请日:2023-09-25

    Abstract: 本申请涉及一种多模态后融合的长尾类别检测方法和系统。所述方法包括:利用第一目标检测模型检测当前场景的点云数据,得到第一目标检测结果;利用第二目标检测模型检测当前场景的图像数据,得到第二目标检测结果;将第一目标检测结果中的三维检测框投影到图像数据的坐标系中,与第二目标检测结果中的二维检测框进行配对;若配对结果中长尾类别的上级类别相匹配,则将两者的置信度进行融合,并更新配对结果;基于点云数据的三维检测框、第三置信度以及图像数据的第二长尾类别,确定更新后的配对结果的长尾类别检测结果。通过本方法能够实现多模态的长尾类别检测,通过轻量级模型,提高长尾类别的检测效率和检测结果的输出精度。

Patent Agency Ranking