公开(公告)号：CN119942152A

公开(公告)日：2025-05-06

申请号：CN202510035392.3

申请日：2025-01-09

Applicant: 安徽大学

Inventor： 鹿安东 ,  汪万禹 ,  郭元至 ,  李成龙 ,  汤进

IPC: G06V10/62 ,  G06V10/80 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明提供一种基于像素级融合的RGBT跟踪网络及使用方法，包括：像素级融合适配器：首先，每个模态由一个低级特征提取层划分，然后馈入单独的Vim块以编码特定特征。接下来，应用令牌和通道连接来沿着不同的特征维度合并两个模态，并且两个附加的Vim块进一步编码该融合的信息。最后，使用具有高效局部细节建模能力的卷积层将融合的特征解码成图像。本发明提出了两阶段的任务导向的渐进式学习框架。第一阶段，多专家自适应蒸馏(MAD)。旨在从具有不同结构的多种图像融合模型中继承优越的融合能力。第二阶段，解耦表示微调策略(DRF)，通过排斥损失明确分离任务相关和任务不相关信息来提高融合精度，通过重构损失保证保证信息解耦的完备性，从而提高融合鲁棒性。

公开(公告)号：CN119313705A

公开(公告)日：2025-01-14

申请号：CN202411359137.6

申请日：2024-09-27

Applicant: 安徽大学

Inventor： 吴福虎 ,  鹿安东 ,  汪万禹 ,  李成龙 ,  洪芳华

IPC: G06T7/246 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/0455

Abstract: 一种基于Mamba架构的高效融合RGBT目标跟踪方法，属于深度学习技术领域，解决如何平衡多模态目标跟踪的性能和融合效率问题；本发明引入全局‑局部高效融合模块进行模态交互与融合，两模态特征通过奇偶索引的通道交换进行直接的信息交互，之后通过多路径Mamba进一步的交互；多路径Mamba设计四条路径对多模态数据进行关系建模，从全局视角进行模态级交互的前向路径和反向路径以及从局部视角进行token级和通道级交互的的混合前向和通道前向路径，在特征提取与关系建模主干中插入多个GLE模块以在不同阶段进行模板融合与搜索帧融合，并将相关信息反馈回主干网络；本发明通过Mamba架构设计的融合模块，拥有更少的参数和更高的计算效率，同时保持着较高的跟踪性能。