-
公开(公告)号:CN114881873B
公开(公告)日:2025-05-06
申请号:CN202210411643.X
申请日:2022-04-19
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于曲线学习和Transformer的图像增强方法。本发明以基于学习的方式提取低照度图像的特征,并自动生成像素变换曲线,实现图像亮度的增强和局部对比度的拉伸。将曲线变换抽象成像素的对应变换,以8位数字图像为例,它的像素范围为0~255的整数,像素的对应则可以表示为256维的向量。为了提高图像的自然性,在损失函数中加入对改向量的一维拉普拉斯正则项,保证变换曲线的平滑性和单调性,使得变换后的像素大小关系仍保持不变。此外,为了减少增强图像中的噪声,引入BM3D去噪算法,根据可以一定程度上反应噪声识别的变换曲线的斜率,对不同的区域施以不同的程度的去噪,更好地去除增强图像中的噪声。
-
公开(公告)号:CN119027674B
公开(公告)日:2025-04-22
申请号:CN202411514270.4
申请日:2024-10-29
Applicant: 南京信息工程大学
IPC: G06V10/26 , G06V10/44 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于补丁语义亲和力增强的CAM优化方法,包括:提取多头自注意力权重;使用头平均操作去除冗余信息,再通过全局平均池化聚合每个注意力图的全局特征,并将聚合的特征向量输入多层感知机中进行相互作用,获得考虑了不同层注意力重要性的增强注意力图;进行平均操作融合后除去注意力中类令牌对应维度,剩下的权重作为增强后的补丁语义亲和力矩阵;输出的补丁令牌生成CAM,利用语义亲和力捕捉更多空间关系和细粒度信息的能力,将补丁语义亲和力矩阵与CAM作矩阵相乘完成优化。本发明在无需额外计算的情况下获取包含语义亲和力信息的注意力权重矩阵,并通过头平均注意力融合模块对注意力权重矩阵进行融合增强。
-
公开(公告)号:CN119832027A
公开(公告)日:2025-04-15
申请号:CN202510316889.2
申请日:2025-03-18
Applicant: 南京信息工程大学
IPC: G06T7/246 , G06N3/0455
Abstract: 本发明公开了基于重跟踪策略的前景感知Transformer目标跟踪方法及系统,涉及图像识别与目标跟踪技术领域,包括:将最近帧模板图像和搜索区域图像输入预先构建的预处理层后分别生成模板token序列和搜索token序列,并缓存至重跟踪缓存区;然后将两个序列拼接得到混合序列,并输入至预先建立的前景感知编码器内,得到输出序列,对输出序列中的搜索区域特征序列进行填充并输入至预测头内,得到预测结果;若连续t帧的预测结果均低于预设预期值,则启用重跟踪策略,经通用编码器得到重跟踪的预测结果,并在重跟踪评估区进行综合评估,得到最佳跟踪结果。该方法不仅有效减轻背景干扰,还能及时纠正跟踪偏差。
-
公开(公告)号:CN119027674A
公开(公告)日:2024-11-26
申请号:CN202411514270.4
申请日:2024-10-29
Applicant: 南京信息工程大学
IPC: G06V10/26 , G06V10/44 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于补丁语义亲和力增强的CAM优化方法,包括:提取多头自注意力权重;使用头平均操作去除冗余信息,再通过全局平均池化聚合每个注意力图的全局特征,并将聚合的特征向量输入多层感知机中进行相互作用,获得考虑了不同层注意力重要性的增强注意力图;进行平均操作融合后除去注意力中类令牌对应维度,剩下的权重作为增强后的补丁语义亲和力矩阵;输出的补丁令牌生成CAM,利用语义亲和力捕捉更多空间关系和细粒度信息的能力,将补丁语义亲和力矩阵与CAM作矩阵相乘完成优化。本发明在无需额外计算的情况下获取包含语义亲和力信息的注意力权重矩阵,并通过头平均注意力融合模块对注意力权重矩阵进行融合增强。
-
公开(公告)号:CN117994823B
公开(公告)日:2024-06-25
申请号:CN202410406482.4
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0455 , G06N3/0464 , G06V10/74
Abstract: 本发明公开了一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法,包括以下步骤:(1)获取多种数据集(2)构建掩码语义信息提取器;(3)构建用于处理图片信息,进行提取特征的Transformer骨干网络;(4)构建用于提取细粒度部分特征的分层特征聚合模块;(5)构建用于提取判别性全局特征的多特征补偿模块;(6)合并步骤(2)‑(5),构建基于掩码先验以及分层聚合Transformer的遮挡行人重识别框架;(7)构建用于遮挡行人重识别模型的损失函数;(8)加载由IMAGENET训练的预训练权重,利用Occluded‑Duke数据集的训练集对模型进行训练,测试集对得到的模型进行测试,寻找最优模型;本发明引导模型关注非遮挡身体部位以及提取判别性信息用于行人匹配。
-
公开(公告)号:CN117994822B
公开(公告)日:2024-06-14
申请号:CN202410406480.5
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
-
公开(公告)号:CN117994822A
公开(公告)日:2024-05-07
申请号:CN202410406480.5
申请日:2024-04-07
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/80 , G06V10/82 , G06V10/40 , G06N3/0464
Abstract: 本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
-
公开(公告)号:CN117152632A
公开(公告)日:2023-12-01
申请号:CN202311131765.4
申请日:2023-09-04
Applicant: 南京信息工程大学
IPC: G06V20/13 , G06V10/44 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于混合注意力和位置编码的遥感图像场景分类方法,通过采用普通卷积网络提取原图像特征信息;然后,针对最后一阶段特征图依次引入通道注意力和空间注意力对特征图进行注意力激发,提取图像局部特征;接着,分别通过6个包含条件位置编码和多头自注意力模块的变换器模块以及3个变换器模块,其中,基于移位窗口设计的自注意力在非重叠的局部窗口中计算自注意力,实现层级特征提取;可以更好地建立长距离全局依赖关系,最后进入平均池化层和全连接层输出最终预测结果。并通过在三个公开遥感场景数据集上的实验证明了它的稳健性、有效性。
-
公开(公告)号:CN117132943A
公开(公告)日:2023-11-28
申请号:CN202311362168.2
申请日:2023-10-20
Applicant: 南京信息工程大学
IPC: G06V20/52 , G06V10/82 , G06N3/0464 , G06N3/08 , G06Q50/26
Abstract: 本发明公开了一种安全帽佩戴检测方法、装置、系统及存储介质,属于图像处理技术领域,方法包括:构建安全帽佩戴数据集;根据所述安全帽佩戴数据集,对预构建的安全帽佩戴检测模型进行训练,获取训练好的安全帽佩戴检测模型;将待测数据输入至训练好的安全帽佩戴检测模型进行检测,并利用非极大值抑制和软非极大值抑制滤除冗余检测框,获取安全帽佩戴检测结果;其中,所述安全帽佩戴检测模型是根据预获取的YOLOv5s模型改进获取的。该方法能够缓解目标遮挡问题,提高安全帽佩戴检测的精度。
-
公开(公告)号:CN117011342A
公开(公告)日:2023-11-07
申请号:CN202311030290.X
申请日:2023-10-07
Applicant: 南京信息工程大学
IPC: G06T7/246 , G06T7/207 , G06V20/40 , G06V10/42 , G06V10/80 , G06V10/82 , G06V10/54 , G06V10/74 , G06V10/62 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种注意力增强的时空Transformer单目标跟踪方法,首先,使用主干网络提取图像特征;而后将提取的特征进行预处理,并输入到编码增强层,通过增强的自注意力机制来强化原始的特征信息;接着,解码器层会使用目标定位和编码增强层的输出作为输入,计算特征的相似度分数,并输出关联概率图;接着使用多步动态更新策略,判断是否更新动态模板与源域模板图像;最后预测头通过计算角点概率分布的期望得到预测框坐标,画出目标位置。本发明使用的网络完全基于Transformer架构,并对编码层的自注意力机制进行了增强,抑制关联计算导致的噪声和模糊;使用位置嵌入编码和动态更新模板分别提供全局的时间、空间线索。
-
-
-
-
-
-
-
-
-