公开(公告)号：CN113450271A

公开(公告)日：2021-09-28

申请号：CN202110647462.2

申请日：2021-06-10

Applicant: 南京信息工程大学

Inventor： 张家伟 ,  王金伟

IPC: G06T5/00 ,  G06T5/20 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于人类视觉模型的鲁棒自适应对抗样本生成方法，包括以下步骤：利用人类视觉模型寻找最合适的对抗扰动，为每幅图像选择最佳的扰动嵌入区域；利用梯度攻击的方式，对于图像中梯度值较大的像素进行扰动，提高损失增长的速度；通过基于纹理掩蔽理论设计噪声可见函数，针对每幅图像的颜色和内容计算出一个动态的自适应系数矩阵；通过滤波式计算来提高计算图像局部方差的速度；通过自定义扰动的上限和下限来有效的控制对抗扰动的强度和不可见行进行平衡。本发明在保证人眼观察不到嵌入的对抗性扰动的前提下，使扰动强度最大化，且生成的对抗样本具备优良的不可见性和鲁棒性。

公开(公告)号：CN118072361A

公开(公告)日：2024-05-24

申请号：CN202410496315.3

申请日：2024-04-24

Applicant: 南京信息工程大学

Inventor： 周洁琼 ,  张国庆 ,  刘天奇 ,  郑钰辉 ,  张家伟 ,  董仕豪

IPC: G06V40/10 ,  G06V20/52 ,  G06V20/40 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06V10/62

Abstract: 本发明公开了一种基于随机游走的小股行人重识别方法及系统，所述方法包括以下步骤：（1）捕捉到的行人视频并进行预处理；（2）将图片通过单目估计算法得到深度图，并对单人深度图计算深度平均值；通过vision transformer得到行人特征，将行人特征通过按深度平均值大小依次构建成具有不同节点的图结构；（3）通过随机游走模块对图进行重构，每添加一个图节点计算该探针图像和图库图像之间的亲和力分数，并计算该组成员的亲和力分数平均值，得到亲和力分数平均值最高的图；（4）将重构的图在图间通过组上下文信息传递，更新图节点特征，结合注意力机制，进行组匹配，预测两组的匹配得分；本发明节约了大量的人力成本和时间成本。

公开(公告)号：CN113450271B

公开(公告)日：2024-02-27

申请号：CN202110647462.2

申请日：2021-06-10

Applicant: 南京信息工程大学

Inventor： 张家伟 ,  王金伟

IPC: G06T5/70 ,  G06T5/60 ,  G06T5/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/094

Abstract: 鲁棒性。本发明公开了一种基于人类视觉模型的鲁棒自适应对抗样本生成方法，包括以下步骤：利用人类视觉模型寻找最合适的对抗扰动，为每幅图像选择最佳的扰动嵌入区域；利用梯度攻击的方式，对于图像中梯度值较大的像素进行扰动，提高损失增长的速度；通过基于纹理掩蔽理论设计噪声可见函数，针对每幅图像的颜色和内容计算出一个动态的自适应系数矩阵；通过滤波式计算来提高计算图像局部方差的速度；通过自定义扰动的上限和下限来有效的控制对抗扰动的强(56)对比文件王彩印.面向保真印刷的彩色图像鲁棒水印方法研究《.《中国博士论文全文数据库 信息科技辑》》.2018,I138-4.马天明.图象认证和证件防伪中的数字水印实现方法研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2015,I138-59.Christian Szegedy 等.Intriguingproperties of neural networks《.arXiv:1312.6199》.2014,1-10.Amir Nazemi 等.Potential adversarialsamples for white-box attacks《.arXiv:1912.06409》.2019,1-5.

公开(公告)号：CN114724189A

公开(公告)日：2022-07-08

申请号：CN202210639854.9

申请日：2022-06-08

Applicant: 南京信息工程大学

Inventor： 张家伟 ,  王金伟 ,  刘光杰

IPC: G06V40/10 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种目标识别的对抗样本防御模型训练方法、系统及应用，通过编码器、瓶颈层、解码器构建生成器和还原器，设计判别器，指定分类器；通过对生成器、还原器和判别器的训练，获得对抗样本防御模型，对预训练目标识别模型的输入样本进行预处理，去除输入样本中的干扰。本发明针对目标识别中的对抗样本生成和防御问题，构建了一种端到端的对抗样本生成及防御框架，并设计了一个判别器，对原始图像和抗样本之间的分布差异进行取证，提高了生成对抗样本的抗检测率与安全性，以强度更高的对抗攻击引导防御方法的性能提升，有利于降低现有对抗攻击对行人识别的攻击性，提高识别模型对恶意攻击的鲁棒性。

公开(公告)号：CN117934890B

公开(公告)日：2024-06-11

申请号：CN202410328101.5

申请日：2024-03-21

Applicant: 南京信息工程大学

Inventor： 董仕豪 ,  郑钰辉 ,  程鑫 ,  张家伟 ,  张国庆 ,  王金伟

IPC: G06V10/762 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提供基于局部和全局邻居对齐的原型对比图像聚类方法及系统，涉及机器学习和图像处理领域。该方法包括提取原始数据集特征；在特征上执行k‑means初始化聚类中心，获取聚类分配概率；对经过两种不同变换后的数据集进行分组训练直至整个数据集，提取变换后图像数据集特征；获取每个训练批次的原型，并计算原型对比损失；获取变换后特征的全局和局部邻居，并将变换后的特征与邻居对齐，计算邻居对齐损失；优化网络，并更新全局邻居；重复上述步骤，直到满足迭代次数，输出聚类分组结果。本发明方法不仅避免了对比学习中类别冲突的问题，而且使得不同的类在空间中均匀分布；同时，基于局部和全局邻居对齐策略可以获得更丰富的语义信息。

公开(公告)号：CN117994823A

公开(公告)日：2024-05-07

申请号：CN202410406482.4

申请日：2024-04-07

Applicant: 南京信息工程大学

Inventor： 张国庆 ,  杨艳 ,  张家伟 ,  董仕豪 ,  郑钰辉

IPC: G06V40/10 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/74

Abstract: 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法，包括以下步骤：（1）获取多种数据集（2）构建掩码语义信息提取器；（3）构建用于处理图片信息，进行提取特征的Transformer骨干网络；（4）构建用于提取细粒度部分特征的分层特征聚合模块；（5）构建用于提取判别性全局特征的多特征补偿模块；（6）合并步骤（2）‑（5），构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架；（7）构建用于遮挡行人重识别模型的损失函数；（8）加载由IMAGENET训练的预训练权重，利用Occluded‑Duke数据集的训练集对模型进行训练，测试集对得到的模型进行测试，寻找最优模型；本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。

公开(公告)号：CN117935172A

公开(公告)日：2024-04-26

申请号：CN202410325387.1

申请日：2024-03-21

Applicant: 南京信息工程大学

Inventor： 张国庆 ,  王准 ,  张家伟 ,  郑钰辉

IPC: G06V20/52 ,  G06V10/20 ,  G06V10/774 ,  G06V10/776 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于光谱信息过滤的可见光红外行人重识别方法及系统，所述方法包括以下步骤：（1）获取原始数据，划分训练集、验证集和测试集并进行预处理；（2）将得到的批量训练样本随机组成跨模态图像对；（3）基于PyTorch搭建三分支行人重识别网络并设置训练参数；（4）将训练时期分为V‑T和V‑I两个阶段，当处于V‑T阶段时，计算语义一致损失更新网络权重，将过渡模态作为过滤条件，从可见光模态中保留与红外模态最为相关的光谱信息；（5）当处于V‑I阶段时计算级联聚合损失，更新网络权重，直接在可见光和红外模态间实现模态对齐，提取模态共享表示；使用验证集验证算法的精度，保存最优精度的网络权重。

公开(公告)号：CN117934890A

公开(公告)日：2024-04-26

申请号：CN202410328101.5

申请日：2024-03-21

Applicant: 南京信息工程大学

Inventor： 董仕豪 ,  郑钰辉 ,  程鑫 ,  张家伟 ,  张国庆 ,  王金伟

IPC: G06V10/762 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提供基于局部和全局邻居对齐的原型对比图像聚类方法及系统，涉及机器学习和图像处理领域。该方法包括提取原始数据集特征；在特征上执行k‑means初始化聚类中心，获取聚类分配概率；对经过两种不同变换后的数据集进行分组训练直至整个数据集，提取变换后图像数据集特征；获取每个训练批次的原型，并计算原型对比损失；获取变换后特征的全局和局部邻居，并将变换后的特征与邻居对齐，计算邻居对齐损失；优化网络，并更新全局邻居；重复上述步骤，直到满足迭代次数，输出聚类分组结果。本发明方法不仅避免了对比学习中类别冲突的问题，而且使得不同的类在空间中均匀分布；同时，基于局部和全局邻居对齐策略可以获得更丰富的语义信息。