公开(公告)号：CN114445461A

公开(公告)日：2022-05-06

申请号：CN202210095429.8

申请日：2022-01-26

Applicant: 安徽大学

Inventor： 李成龙 ,  何小倩 ,  沈庆 ,  汤进

IPC: G06T7/246 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/74 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置，方法包括获取不成对的可见光图像和热红外图像，并生成候选样本；利用候选样本对可见光红外跟踪器进行训练，可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，模态特定模块包括第一模态特定网络和第二模态特定网络，可见光图像作为第一模态特定网络和模态共享模块的输入，热红外图像作为第二模态特定网络和模态共享模块的输入，第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖，提升目标跟踪性能。

公开(公告)号：CN114445461B

公开(公告)日：2025-05-13

申请号：CN202210095429.8

申请日：2022-01-26

Applicant: 安徽大学

Inventor： 李成龙 ,  何小倩 ,  沈庆 ,  汤进

IPC: G06T7/246 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/74 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置，方法包括获取不成对的可见光图像和热红外图像，并生成候选样本；利用候选样本对可见光红外跟踪器进行训练，可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块，模态特定模块包括第一模态特定网络和第二模态特定网络，可见光图像作为第一模态特定网络和模态共享模块的输入，热红外图像作为第二模态特定网络和模态共享模块的输入，第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖，提升目标跟踪性能。

公开(公告)号：CN116205959A

公开(公告)日：2023-06-02

申请号：CN202310075035.0

申请日：2023-01-16

Applicant: 安徽大学

Inventor： 李成龙 ,  沈庆 ,  刘磊 ,  汤进

IPC: G06T7/33 ,  G06N3/08 ,  G06T5/50 ,  G06N3/0464

Abstract: 一种面向弱配准数据的可见光热红外视觉跟踪方法，属于计算机视觉技术领域，解决多模态跟踪器对配准数据的依赖的问题；本发明的方法引入渐进式特征配准模块实现模态特征级配准，配准后的多模态特征进一步通过transformer融合模块实现特征融合，利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；本发明的方法可以在不依赖严格配准的多模态数据下挖掘可见光和热红外模态的互补信息，有效实现了可见光和热红外之间的模态互补，进一步提高多模态目标跟踪的准确率。