公开(公告)号：CN116912649A

公开(公告)日：2023-10-20

申请号：CN202311186403.5

申请日：2023-09-14

Applicant: 武汉大学

Inventor： 蔡朝 ,  马泳 ,  樊凡 ,  黄珺

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明针对现有技术的不足，提出了一种基于相关注意力引导的红外与可见光图像融合方法及系统。本发明提出了实时处理的端到端红外和可见光图像融合框架，该框架自适应地保留来自两种模态的互补信息。融合结果在保留突出的红外物体和丰富的可见纹理细节之间实现了更好的视觉效果。本发明设计了跨模态特征融合模块，它可以从全局角度保留显着特征和补充信息。本发明方法采用相关引导的注意机制作为融合规则，可以建立对多模态图像局部特征的远程依赖，进一步细化特征图，关注源图像的典型目标和细节。

公开(公告)号：CN116912649B

公开(公告)日：2023-11-28

申请号：CN202311186403.5

申请日：2023-09-14

Applicant: 武汉大学

Inventor： 蔡朝 ,  马泳 ,  樊凡 ,  黄珺

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明针对现有技术的不足，提出了一种基于相关注意力引导的红外与可见光图像融合方法及系统。本发明提出了实时处理的端到端红外和可见光图像融合框架，该框架自适应地保留来自两种模态的互补信息。融合结果在保留突出的红外物体和丰富的可见纹理细节之间实现了更好的视觉效果。本发明设计了跨模态特征融合模块，它可以从全局角度保留显着特征和补充信息。本发明方法采用相关引导的注意机制作为融合规则，可以建立对多模态图像局部特征的远程依赖，进一步细化特征图，关注源图像的典型目标和细节。