公开(公告)号：CN119810146A

公开(公告)日：2025-04-11

申请号：CN202411780563.7

申请日：2024-12-05

Applicant: 安徽大学

Inventor： 肖云 ,  李鹏程 ,  周宇 ,  李成龙 ,  刘磊 ,  汤进

IPC: G06T7/246 ,  G06V10/80 ,  G06V10/56 ,  G06V10/143 ,  G06V10/44 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/25

Abstract: 本发明提供一种基于差异性信息的RGBT跟踪增强融合方法及系统，方法包括：输入数据处理；多模态ViT特征提取，其中，在ViT的特定层(如第4层、第7层、第10层)中集成ADEF模块，用于增强模态特定的特征表示。ADEF模块通过计算并减去跨模态融合注意力矩阵；特征差异增强融合，其中，在ViT的最后一层之后，应用FDEF模块。FDEF模块通过减去跨模态相似性矩阵，保留并放大每个模态的独特特征，进一步提高多模态融合的质量；目标状态预测。本发明解决了特征表示不纯净、融合策略不完善以及适应能力有限的技术问题。