基于非配对数据的可见光红外目标跟踪训练方法及装置

    公开(公告)号:CN114445461B

    公开(公告)日:2025-05-13

    申请号:CN202210095429.8

    申请日:2022-01-26

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置,方法包括获取不成对的可见光图像和热红外图像,并生成候选样本;利用候选样本对可见光红外跟踪器进行训练,可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块,模态特定模块包括第一模态特定网络和第二模态特定网络,可见光图像作为第一模态特定网络和模态共享模块的输入,热红外图像作为第二模态特定网络和模态共享模块的输入,第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖,提升目标跟踪性能。

    基于像素级融合的RGBT跟踪网络及使用方法

    公开(公告)号:CN119942152A

    公开(公告)日:2025-05-06

    申请号:CN202510035392.3

    申请日:2025-01-09

    Applicant: 安徽大学

    Abstract: 本发明提供一种基于像素级融合的RGBT跟踪网络及使用方法,包括:像素级融合适配器:首先,每个模态由一个低级特征提取层划分,然后馈入单独的Vim块以编码特定特征。接下来,应用令牌和通道连接来沿着不同的特征维度合并两个模态,并且两个附加的Vim块进一步编码该融合的信息。最后,使用具有高效局部细节建模能力的卷积层将融合的特征解码成图像。本发明提出了两阶段的任务导向的渐进式学习框架。第一阶段,多专家自适应蒸馏(MAD)。旨在从具有不同结构的多种图像融合模型中继承优越的融合能力。第二阶段,解耦表示微调策略(DRF),通过排斥损失明确分离任务相关和任务不相关信息来提高融合精度,通过重构损失保证保证信息解耦的完备性,从而提高融合鲁棒性。

    基于多模态的双阶段细化绑定关系的车辆目标检测方法

    公开(公告)号:CN119625657A

    公开(公告)日:2025-03-14

    申请号:CN202411701664.0

    申请日:2024-11-26

    Abstract: 本发明公开一种基于多模态的双阶段细化绑定关系的车辆目标检测方法。该方法采用RGB、灰度和红外图像的多模态输入,通过独立网络进行多尺度特征提取,并在不同模态的多尺度特征之间进行融合,构建多模态多尺度特征图。在第一阶段,进行检测目标与查询的初步绑定,通过查询与多模态多尺度特征图的交互确定采样点。基于该位置信息,从多模态多尺度特征图中采样特征,并将采样特征映射到查询的通道维度。接着,通过交叉注意力机制更新查询,并引入历史查询以增强当前查询的效果。在第二阶段,基于初步绑定关系进行得分计算,设定阈值,以区分稳定与不稳定的绑定关系。对于得分高于阈值的目标,加大权重以强化绑定;而得分低于阈值的目标,则通过重新匹配查询与目标,优化绑定关系。最终,预测头对经过强化和调整的查询进行解码,输出目标的类别与边界框。

    一种基于Mamba架构的高效融合RGBT目标跟踪方法

    公开(公告)号:CN119313705A

    公开(公告)日:2025-01-14

    申请号:CN202411359137.6

    申请日:2024-09-27

    Applicant: 安徽大学

    Abstract: 一种基于Mamba架构的高效融合RGBT目标跟踪方法,属于深度学习技术领域,解决如何平衡多模态目标跟踪的性能和融合效率问题;本发明引入全局‑局部高效融合模块进行模态交互与融合,两模态特征通过奇偶索引的通道交换进行直接的信息交互,之后通过多路径Mamba进一步的交互;多路径Mamba设计四条路径对多模态数据进行关系建模,从全局视角进行模态级交互的前向路径和反向路径以及从局部视角进行token级和通道级交互的的混合前向和通道前向路径,在特征提取与关系建模主干中插入多个GLE模块以在不同阶段进行模板融合与搜索帧融合,并将相关信息反馈回主干网络;本发明通过Mamba架构设计的融合模块,拥有更少的参数和更高的计算效率,同时保持着较高的跟踪性能。

    基于缺失感知提示的模态缺失RGBT跟踪方法及系统

    公开(公告)号:CN118887592B

    公开(公告)日:2024-12-03

    申请号:CN202411381944.8

    申请日:2024-09-30

    Applicant: 安徽大学

    Abstract: 本发明公开了一种基于缺失感知提示的模态缺失RGBT跟踪方法及系统,方法包括:获取训练帧图像对并对其对打标签,包括有缺失类型和无缺失类型;有缺失类型的图像,设置对应的缺失补偿填充集;判断当前图像对中两张图像是否有缺失,当其中一张图像有缺失时,根据缺失类型从对应的缺失补偿填充集中选择对应的补充帧图像,并与另一张无缺失的图像组成图像对作为输入,若为无缺失类型时,则当前图像对直接应用作为输入;设置图像模板搜索帧边界框并对作为输入的图像对进行分割再进行维度转换,获取图像语义信息并作为建立的缺失感知提示模态融合模型的输入,使用优化算法对模型进行优化训练,并用优化后的模型获取当前帧图像对的目标包围框提高跟踪精度。

    一种基于原型传输的昼夜跨域面部表情识别方法

    公开(公告)号:CN118781639A

    公开(公告)日:2024-10-15

    申请号:CN202410908944.2

    申请日:2024-07-08

    Applicant: 安徽大学

    Abstract: 一种基于原型传输的昼夜跨域面部表情识别方法,属于人机交互技术领域,解决如何利用丰富的日间可见光情绪图片学习情绪知识以迁移到夜晚暗光条件下的各种情绪识别中,从而提高暗光条件下的情绪识别的问题,本发明提出专注于面部情绪的注意力转换多特征捕获模块,捕获更多可转移的局部情绪特征,提出了原型特征转移模块来学习与模态无关的类别特征,以缩小可见光和红外特征之间的域差距;提出高置信度的混合模块来选择信息丰富的可见光和红外样本进行融合,从而产生融合特征,其中包含关于两个领域的风格信息;本发明在提高夜间情感识别准确率方面有效,并且适用于大多数夜间场景。

Patent Agency Ranking