-
公开(公告)号:CN119647549A
公开(公告)日:2025-03-18
申请号:CN202510170889.6
申请日:2025-02-17
Applicant: 南京邮电大学
Abstract: 本发明公开了基于多模态域相关提示的无监督域适应方法及装置,涉及无监督域适应技术领域,包括以下步骤:接收预先建立的域相关文本提示,将域相关文本提示输入至预先建立的线性映射网络模型内,输出得到域相关的视觉提示,其中,所述域相关的视觉提示被引入层特定的视觉提示;组合图像和域相关的视觉提示输入至视觉编码器得到视觉特征,接收多层级域特征,将视觉特征和多层级域特征输入至基于注意力的特征增强网络模型内,输出得到域增强后的视觉特征;将域增强后的视觉特征与经过文本编码器编码后的域相关文本提示进行对齐训练,从而实现域相关的多模态联合对齐。
-
公开(公告)号:CN118941774A
公开(公告)日:2024-11-12
申请号:CN202411010785.0
申请日:2024-07-26
Applicant: 南京邮电大学
IPC: G06V10/25 , G06V10/764 , G06V10/40 , G06V10/80 , G06V10/82 , G06N3/0499 , G06N3/042 , G06N3/096
Abstract: 本发明公开了基于类别特征和公共特征解耦的持续目标检测方法及系统,涉及持续目标检测技术领域,包括:将旧类别实例输入至预先建立的旧模型内,输出各区域上的置信度,根据各区域上的置信度计算信息熵,选取小的信息熵旧类别实例输入至存储器内;存储器选取存储的与新类别实例外观相似的旧类别实例,将旧类别实例粘贴至包含新类别实例的图片内;基于预先建立的旧模型和迭代更新中的新模型在旧类实例的各个区域上的置信度,将所有区域划分为含有类别特征的区域和含有公共特征的区域,计算生成新旧模型在类别特征区域上的置信度一致性损失和生成反转交叉熵损失;利用模型总损失更新得到更新后的新模型,利用更新后的新模型进行持续目标检测。
-
公开(公告)号:CN118379502A
公开(公告)日:2024-07-23
申请号:CN202410815453.3
申请日:2024-06-24
Applicant: 南京邮电大学
IPC: G06V10/26 , G06V10/774 , G06V10/74 , G06V10/764 , G06V10/82 , G06F17/16
Abstract: 本发明公开基于空间视觉和统计关系蒸馏的持续语义分割方法及系统,属于持续语义分割领域;基于空间视觉和统计关系蒸馏的持续语义分割方法包括基于新旧模型的特征提取网络提取图片的多层特征,并划分为多尺度特征子区域;基于划分的特征子区域,建模特征图的空间视觉相似性关系以及空间统计相似性关系;基于知识蒸馏构建新旧模型特征图的空间视觉、统计相似性关系的一致性约束。能够很好地保存持续语义分割模型学习过的旧知识,同时减轻过于严格的特征或置信度一致性约束对于模型学习新知识的阻碍,从而提高持续语义分割任务的准确性。
-
公开(公告)号:CN119904712A
公开(公告)日:2025-04-29
申请号:CN202411986265.3
申请日:2024-12-31
Applicant: 南京邮电大学
IPC: G06V10/774 , G06V10/74 , G06V10/778 , G06V10/44 , G06V20/62
Abstract: 本发明公开了基于布尔提示增强的零样本视觉问答方法及系统,涉及零样本视觉问答技术领域,包括:基于预训练视觉语言模型自适应判断输入问题的复杂程度,输出简单问题的答案,选择出对于模型复杂的问题;基于选择出的复杂问题,提取关键词,并生成问题对应图像的描述;基于原始问题生成捕捉全局信息的子问题,从问题关键词和图像描述生成包含局部信息的子问题;基于生成的子问题与原始问题之间的余弦相似度,构建子问题的冗余度值和丰富度值;利用冗余度值删除冗余度高的子问题,利用丰富度值确保子问题内容的丰富性,利用得到的子问题作为提示增强模型对复杂问题的理解以及对局部视觉信息的关注,提高零样本视觉问答的准确性。
-
公开(公告)号:CN119625328A
公开(公告)日:2025-03-14
申请号:CN202510170884.3
申请日:2025-02-17
Applicant: 南京邮电大学
IPC: G06V10/26 , G06V10/44 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了基于平衡多粒度融合特征蒸馏的持续语义分割方法及系统,涉及持续语义分割技术领域,包括:获取图片,将图片输入至预先建立的新旧模型的特征提取网络内,输出得到图片的多层特征;将图片的多层特征输入至预先建立的并行自注意力模块内,输出得到初步融合多粒度特征;将初步融合多粒度特征输入至预先建立的基于矩的通道注意力模块内,输出得到平衡性多粒度融合特征;基于知识蒸馏计算平衡性多粒度融合特征的一致性约束,基于平衡性多粒度融合特征的一致性约束计算训练总损失;基于训练总损失对新模型进行训练,得到训练后的新模型,通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界,提高持续语义分割任务的准确性。
-
公开(公告)号:CN118379502B
公开(公告)日:2024-10-11
申请号:CN202410815453.3
申请日:2024-06-24
Applicant: 南京邮电大学
IPC: G06V10/26 , G06V10/774 , G06V10/74 , G06V10/764 , G06V10/82 , G06F17/16
Abstract: 本发明公开基于空间视觉和统计关系蒸馏的持续语义分割方法及系统,属于持续语义分割领域;基于空间视觉和统计关系蒸馏的持续语义分割方法包括基于新旧模型的特征提取网络提取图片的多层特征,并划分为多尺度特征子区域;基于划分的特征子区域,建模特征图的空间视觉相似性关系以及空间统计相似性关系;基于知识蒸馏构建新旧模型特征图的空间视觉、统计相似性关系的一致性约束。能够很好地保存持续语义分割模型学习过的旧知识,同时减轻过于严格的特征或置信度一致性约束对于模型学习新知识的阻碍,从而提高持续语义分割任务的准确性。
-
-
-
-
-