-
公开(公告)号:CN117935172B
公开(公告)日:2024-06-14
申请号:CN202410325387.1
申请日:2024-03-21
Applicant: 南京信息工程大学
IPC: G06V20/52 , G06V10/20 , G06V10/774 , G06V10/776 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于光谱信息过滤的可见光红外行人重识别方法及系统,所述方法包括以下步骤:(1)获取原始数据,划分训练集、验证集和测试集并进行预处理;(2)将得到的批量训练样本随机组成跨模态图像对;(3)基于PyTorch搭建三分支行人重识别网络并设置训练参数;(4)将训练时期分为V‑T和V‑I两个阶段,当处于V‑T阶段时,计算语义一致损失更新网络权重,将过渡模态作为过滤条件,从可见光模态中保留与红外模态最为相关的光谱信息;(5)当处于V‑I阶段时计算级联聚合损失,更新网络权重,直接在可见光和红外模态间实现模态对齐,提取模态共享表示;使用验证集验证算法的精度,保存最优精度的网络权重。
-
公开(公告)号:CN117934891B
公开(公告)日:2024-06-07
申请号:CN202410343857.7
申请日:2024-03-25
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/042
Abstract: 本发明提供一种基于图结构的图像对比聚类方法及系统,涉及机器学习和图像处理领域。该方法包含以下步骤,获取原始图像数据集,对原始图像数据集进行两种不同的变换,分获取变换后的数据集的特征和对比特征,计算实例级对比损失,获取并更新每个样本的邻居,获取邻接矩阵并加上不同的随机掩码,构建图结构数据,输入到图神经网络聚合特征与其邻居特征,并获得聚类分配,计算簇级对比损失,通过实例级对比损失和簇级对比损失优化特征提取网络、对比网络和图卷积神经网络,重复上述步骤,直到满足迭代次数,输出聚类分组结果;本发明方法不仅能获取图像的语义信息,也能有效挖掘图像数据之间的结构信息。
-
公开(公告)号:CN117934891A
公开(公告)日:2024-04-26
申请号:CN202410343857.7
申请日:2024-03-25
Applicant: 南京信息工程大学
IPC: G06V10/762 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/042
Abstract: 本发明提供一种基于图结构的图像对比聚类方法及系统,涉及机器学习和图像处理领域。该方法包含以下步骤,获取原始图像数据集,对原始图像数据集进行两种不同的变换,分获取变换后的数据集的特征和对比特征,计算实例级对比损失,获取并更新每个样本的邻居,获取邻接矩阵并加上不同的随机掩码,构建图结构数据,输入到图神经网络聚合特征与其邻居特征,并获得聚类分配,计算簇级对比损失,通过实例级对比损失和簇级对比损失优化特征提取网络、对比网络和图卷积神经网络,重复上述步骤,直到满足迭代次数,输出聚类分组结果;本发明方法不仅能获取图像的语义信息,也能有效挖掘图像数据之间的结构信息。
-
公开(公告)号:CN114724189B
公开(公告)日:2022-09-02
申请号:CN202210639854.9
申请日:2022-06-08
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种目标识别的对抗样本防御模型训练方法、系统及应用,通过编码器、瓶颈层、解码器构建生成器和还原器,设计判别器,指定分类器;通过对生成器、还原器和判别器的训练,获得对抗样本防御模型,对预训练目标识别模型的输入样本进行预处理,去除输入样本中的干扰。本发明针对目标识别中的对抗样本生成和防御问题,构建了一种端到端的对抗样本生成及防御框架,并设计了一个判别器,对原始图像和抗样本之间的分布差异进行取证,提高了生成对抗样本的抗检测率与安全性,以强度更高的对抗攻击引导防御方法的性能提升,有利于降低现有对抗攻击对行人识别的攻击性,提高识别模型对恶意攻击的鲁棒性。
-
公开(公告)号:CN118072361B
公开(公告)日:2024-07-12
申请号:CN202410496315.3
申请日:2024-04-24
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V20/52 , G06V20/40 , G06V10/40 , G06V10/74 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/62
Abstract: 本发明公开了一种基于随机游走的小股行人重识别方法及系统,所述方法包括以下步骤:(1)捕捉到的行人视频并进行预处理;(2)将图片通过单目估计算法得到深度图,并对单人深度图计算深度平均值;通过vision transformer得到行人特征,将行人特征通过按深度平均值大小依次构建成具有不同节点的图结构;(3)通过随机游走模块对图进行重构,每添加一个图节点计算该探针图像和图库图像之间的亲和力分数,并计算该组成员的亲和力分数平均值,得到亲和力分数平均值最高的图;(4)将重构的图在图间通过组上下文信息传递,更新图节点特征,结合注意力机制,进行组匹配,预测两组的匹配得分;本发明节约了大量的人力成本和时间成本。
-
公开(公告)号:CN118133932B
公开(公告)日:2024-06-28
申请号:CN202410573165.1
申请日:2024-05-10
Applicant: 南京信息工程大学
IPC: G06N3/094 , G06N3/0475 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06V10/82
Abstract: 本发明公开一种针对JPEG量化步长估计的对抗样本生成方法,JPEG压缩后的原始样本输入生成器生成对抗样本,根据直接攻击或预先攻击的不同攻击目标,将对抗样本或经JPEG压缩后的对抗样本输入JPEG量化步长估计网络,计算量化步长估计损失;将对抗样本及对应的原始样本输入判别器,分别计算二者判别损失,基于量化步长估计损失、扰动强度损失和逆对抗样本判别损失优化生成器参数。本发明以强度更高的对抗攻击引导JPEG量化步长估计方法的性能提升,从而提高基于量化步长估计的篡改取证方法的鲁棒性和可靠性。
-
公开(公告)号:CN117994823B
公开(公告)日:2024-06-25
申请号:CN202410406482.4
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0455 , G06N3/0464 , G06V10/74
Abstract: 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法,包括以下步骤:(1)获取多种数据集(2)构建掩码语义信息提取器;(3)构建用于处理图片信息,进行提取特征的Transformer骨干网络;(4)构建用于提取细粒度部分特征的分层特征聚合模块;(5)构建用于提取判别性全局特征的多特征补偿模块;(6)合并步骤(2)‑(5),构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架;(7)构建用于遮挡行人重识别模型的损失函数;(8)加载由IMAGENET训练的预训练权重,利用Occluded‑Duke数据集的训练集对模型进行训练,测试集对得到的模型进行测试,寻找最优模型;本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。
-
公开(公告)号:CN117994822B
公开(公告)日:2024-06-14
申请号:CN202410406480.5
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
-
公开(公告)号:CN118133932A
公开(公告)日:2024-06-04
申请号:CN202410573165.1
申请日:2024-05-10
Applicant: 南京信息工程大学
IPC: G06N3/094 , G06N3/0475 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06V10/82
Abstract: 本发明公开一种针对JPEG量化步长估计的对抗样本生成方法,JPEG压缩后的原始样本输入生成器生成对抗样本,根据直接攻击或预先攻击的不同攻击目标,将对抗样本或经JPEG压缩后的对抗样本输入JPEG量化步长估计网络,计算量化步长估计损失;将对抗样本及对应的原始样本输入判别器,分别计算二者判别损失,基于量化步长估计损失、扰动强度损失和逆对抗样本判别损失优化生成器参数。本发明以强度更高的对抗攻击引导JPEG量化步长估计方法的性能提升,从而提高基于量化步长估计的篡改取证方法的鲁棒性和可靠性。
-
公开(公告)号:CN117994822A
公开(公告)日:2024-05-07
申请号:CN202410406480.5
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
-
-
-
-
-
-
-
-
-