公开(公告)号：CN118967468A

公开(公告)日：2024-11-15

申请号：CN202410964160.1

申请日：2024-07-17

Applicant: 哈尔滨理工大学

Inventor： 刘明珠 ,  孟祥博

IPC: G06T5/50 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/54 ,  G06N3/0464 ,  G06N3/045

Abstract: 本发明聚焦于多模态图像融合领域，提出一种多层次跨模态协同特征编码器结构。步骤1：将红外数据集与可见光数据集进行尺寸归一化处理；步骤2：将红外图像和可见光图像分别输入到Transformer进行初步融合及提取特征；步骤3：将红外图像和可见光图像输入到CNN网络进行融合及提取特征；步骤4：将两种网络提取出的特征通过CBAM模块进行空间和通道注意力加权后融合。在本发明中，针对多模态特征融合效果不佳的问题，将两种网络分别提取特征后通过CBAM模块进行空间和通道注意力加权，有效保留红外图像在低光、夜间等恶劣情况下的热辐射信息和可见光图像的细节和颜色信息，可用于军事侦察、安防系统、医学诊断等领域。