-
公开(公告)号：CN118116035A
公开(公告)日：2024-05-31
申请号：CN202410534160.8
申请日：2024-04-30
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种模态不平衡特征转换跨模态行人重识别方法，包括获取可见光和红外行人的样本集，构建双流特征提取网络，并在双流特征提取网络中插入模态一致性感知模块优化深层网络参数，用最大平均差异损失来约束。然后构建特征转移网络，利用跨模态样本重新分配策略模拟样本不平衡场景，之后对重分配后的特征设计跨模态不平衡模块进行模态特征转换，最后构建度量学习网络，利用特征重建损失和联合身份和联合圆损失对模型进度量学习，得到行人匹配结果。本发明在解决模态样本不平衡问题上取得了优异的性能，提高了模型的鲁棒性和泛化能力，并且本发明在低光和损坏的场景中表现出了改进的性能。
-
公开(公告)号：CN117994293A
公开(公告)日：2024-05-07
申请号：CN202410141948.2
申请日：2024-02-01
Applicant: 南京信息工程大学
IPC: G06T7/246 , G06V10/62 , G06V10/80 , G06V10/764 , G06V10/82 , G06V10/766 , G06V10/74 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了一种基于相似图相融合的目标跟踪方法，包括：S1：截取视频序列中一帧裁剪成模板分支和搜索分支输入大小；S2：两个相同参数的深度卷积网络ResNet‑50提取输入图像对的特征信息，选取ResNet‑50最后三个残差块的输出作为后续跟踪的特征信息；S3：聚合三个残差块的模板特征和搜索特征，输出三张不同层次的相似图；S4：不同层次的相似图输入特征融合模块，交互融合多层相似图，输出响应图；S5：预测头对融合模块输出的响应图进行卷积处理，输出分类分支、回归分支和中心分支三种特征图；S6：根据预测头的输出结果对目标进行定位。本发明可以提取多层相似图之间的全局上下文信息，关注不同层次的特征信息，提高跟踪器的跟踪性能。
-
公开(公告)号：CN116309700A
公开(公告)日：2023-06-23
申请号：CN202310053110.3
申请日：2023-02-03
Applicant: 南京信息工程大学
IPC: G06T7/246 , G06V10/764 , G06V10/774 , G06V10/766
Abstract: 本发明公开了一种基于孪生网络的目标跟踪通用鲁棒对抗攻击方法，包括以下步骤：利用GIOU引导的通用鲁棒目标跟踪对抗攻击方法，通过对输入视频帧进行翻转填充变换产生丰富样本，以视频帧真实标注框与目标跟踪器预测框之间的GIOU分数为引导产生通用对抗扰动，同时对扰动应用多种变换操作来寻找最佳通用扰动，使扰动能抵御目标跟踪中的各种挑战。本发明可以将训练好的扰动直接迁移叠加到任意未知图像中，生成的对抗样本图像不仅不易被发现，且不需要额外的计算资源，实现了目标跟踪攻击的高效性和鲁棒性。
-
公开(公告)号：CN117953539A
公开(公告)日：2024-04-30
申请号：CN202410097955.7
申请日：2024-01-24
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种跨模态提示调整的素描行人重识别方法，包括如下步骤：S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征；S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化；S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强，进行跨模态特征对齐和素描特征优化。S4、利用通用的损失函数进行网络优化，并对S2和S3处理后经过骨干最后输出的特征进行相似性度量，输出匹配结果。本发明引导浅层冻结的预训练模型从样本提示和特征增强的角度执行素描检索任务，同时考虑到了模态间差距大的问题。
-
公开(公告)号：CN116863294A
公开(公告)日：2023-10-10
申请号：CN202310758948.2
申请日：2023-06-26
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于多循环对比增强一致性的自监督跟踪损失优化方法，属于目标跟踪技术领域。该方法为：对训练数据集中的视频帧依次执行前向跟踪和反向跟踪，并对前向跟踪和反向跟踪最后一步的模板帧进行数据增强操作；根据第一帧的真实目标标签及其反向跟踪生成的伪标签构建循环一致性损失；根据增强后的视频帧与对应的原始视频帧在执行前向跟踪和反向跟踪的差异构建对比增强损失；联合循环一致性损失和对比增强一致性损失对自监督跟踪模型进行优化。本发明利用数据增强技术来模拟目标外观变化，在视频帧中构造对比增强一致性损失来优化跟踪模型，实现了高性能的跟踪。
-
Patent Agency Ranking
公开(公告)号：CN118116035B
公开(公告)日：2024-07-02
申请号：CN202410534160.8
申请日：2024-04-30
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种模态不平衡特征转换跨模态行人重识别方法，包括获取可见光和红外行人的样本集，构建双流特征提取网络，并在双流特征提取网络中插入模态一致性感知模块优化深层网络参数，用最大平均差异损失来约束。然后构建特征转移网络，利用跨模态样本重新分配策略模拟样本不平衡场景，之后对重分配后的特征设计跨模态不平衡模块进行模态特征转换，最后构建度量学习网络，利用特征重建损失和联合身份和联合圆损失对模型进度量学习，得到行人匹配结果。本发明在解决模态样本不平衡问题上取得了优异的性能，提高了模型的鲁棒性和泛化能力，并且本发明在低光和损坏的场景中表现出了改进的性能。
-
公开(公告)号：CN117877099B
公开(公告)日：2024-05-14
申请号：CN202410271004.7
申请日：2024-03-11
Applicant: 南京信息工程大学
IPC: G06V40/16 , G06V20/40 , G06V10/25 , G06V10/62 , G06V10/77 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/088 , G16H10/60 , G16H40/67 , G06F18/2131 , A61B5/00 , A61B5/024 , G06F123/02
Abstract: 本发明公开了一种基于时空特征增强的无监督对比远程生理测量方法，包括1、获取人脸视频并进行预处理；2、建立低光和时空特征增强模型ST‑Phys，输入预处理数据，输出时空注意力特征P；3、在时间维度上对时空注意力特征P进行采样，得到rPPG信号样本，根据rPPG信号样本，计算目标人员的心率；4、对模型进行优化，并应用优化后时空增强模型对人脸视频中rPPG信号进行提取。本发明利用深度学习技术，提出了一种无监督对比学习的远程心率检测方法，通过对人脸视频进行简单预处理即可输入网络中完成rPPG信号估计并计算心率，减少了对标注数据的依赖，提高了rPPG的通用性。
-
公开(公告)号：CN117830959B
公开(公告)日：2024-05-10
申请号：CN202410245047.8
申请日：2024-03-05
Applicant: 南京信息工程大学
IPC: G06V20/52 , G06V10/25 , G06V10/44 , G06V10/764 , G06V10/766 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/0495
Abstract: 本发明公开了基于全局上下文增强的稀疏卷积输电线路防外破检测方法，包括构建输电线路防外力破坏样本数据集、构建输电线路防外破检测神经网络，利用数据集训练神经网络得到输电线路防外破检测模型。本发明基于融入高效注意力机制的ECA‑PConv模块构建骨干网络；基于ECA‑PConv模块构建C3_Faster模块和特征融合网络。基于稀疏卷积以及BN+单元构建SC+模块，构建SC+Net网络，然后完成构建轻量级输电线路防外破检测网络。本发明有效克服当前轻量级目标检测模型在输电线路巡检场景中存在的模型精度不足和推理速度慢等问题，并且在边缘端设备上实现高效的目标检测，能灵活、高效地应对输电线路安全的挑战。
-
公开(公告)号：CN117935307A
公开(公告)日：2024-04-26
申请号：CN202410075248.8
申请日：2024-01-18
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/30 , G06V10/42 , G06V10/62 , G06V10/764 , G06V10/77 , G06V10/82 , G06N3/045 , G06N3/08
Abstract: 本发明公开了一种双模态对齐的跨模态行人重识别方法，首先利用双重注意力视觉transformer作为特征提取的骨干网络，可以消除背景噪声并且充分捕捉可见光和红外图像中行人的全局特征信息。其次，提出了多粒度特征互学习策略，结合域对齐和自蒸馏策略来缓解模态差异，通过设计的损失函数来增强可见光特征和红外特征之间的识别感知能力和信息交互能力。此外，设计了双模态对齐子模块，分别在模态间和模态内利用全局自注意力机制来探索两种模态之间的潜在交互作用。本发明在两个广泛使用的跨模态数据集上进行了全面的评估，证明了所提出方法的有效性。此外，还在两个被损坏的跨模态数据集上进行了评估实验，结果表明了该方法的强泛化性。
-
公开(公告)号：CN117670933A
公开(公告)日：2024-03-08
申请号：CN202311652705.7
申请日：2023-12-05
Applicant: 南京信息工程大学
IPC: G06T7/246 , G06V10/22 , G06V10/764 , G06V10/766 , G06V10/44 , G06V10/82 , G06N3/045 , G06N3/084 , G06N3/0985
Abstract: 本发明公开了一种基于元自适应边界定位的孪生网络目标跟踪方法：载入基于孪生网络的模型；输入模板和搜索图像得到特征图；分类分支与回归分支进行深度互相关操作，分别生成分类得分图和回归预测框；边界定位分支生成边界定位得分和边界定位预测框；使用边界定位分支结果修正分类分支和回归分支的结果，实现最终定位；动态加权三分支的损失，得到总损失优化目标，进而使用Meta‑SGD更新模型的学习率和网络参数；载入更新模型，重复上述步骤，完成新的目标跟踪任务。本发明引入边界定位分支，增强了定位精度；动态加权三分支的损失，减少了各分支之间的不匹配问题；采用Meta‑SGD来训练模型，可以快速自适应新的跟踪任务。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.028 seconds)
