公开(公告)号：CN118469831B

公开(公告)日：2025-01-10

申请号：CN202410611048.X

申请日：2024-05-16

Applicant: 北京科技大学

Inventor： 陈健生 ,  李嘉伟 ,  余宏伟 ,  丁鑫龙 ,  秦怡宁 ,  马惠敏

IPC: G06T5/50 ,  G06N3/0464

Abstract: 本发明涉及数字影像技术领域，特别是指一种基于注意力机制的鲁棒自监督多模态图像融合方法及装置。所述方法包括：使用拍摄设备进行图像采集，获取可见光源图像以及红外源图像；根据可见光源图像以及红外源图像进行焦点融合处理，获得焦点融合图；基于注意力机制以及Transformer网络结构进行模块构建，获得联合学习模块；基于焦点融合图，将可见光源图像以及红外源图像输入联合学习模块进行图像融合，获得第二融合图像；将第二融合图像输入预设的语义模型进行语义添加，获得第三融合图像。本发明是一种基于注意力机制的效率高、鲁棒性强的自监督多模态图像融合方法。

公开(公告)号：CN118469831A

公开(公告)日：2024-08-09

申请号：CN202410611048.X

申请日：2024-05-16

Applicant: 北京科技大学

Inventor： 陈健生 ,  李嘉伟 ,  余宏伟 ,  丁鑫龙 ,  秦怡宁 ,  马惠敏

IPC: G06T5/50 ,  G06N3/0464

Abstract: 本发明涉及数字影像技术领域，特别是指一种基于注意力机制的鲁棒自监督多模态图像融合方法及装置。所述方法包括：使用拍摄设备进行图像采集，获取可见光源图像以及红外源图像；根据可见光源图像以及红外源图像进行焦点融合处理，获得焦点融合图；基于注意力机制以及Transformer网络结构进行模块构建，获得联合学习模块；基于焦点融合图，将可见光源图像以及红外源图像输入联合学习模块进行图像融合，获得第二融合图像；将第二融合图像输入预设的语义模型进行语义添加，获得第三融合图像。本发明是一种基于注意力机制的效率高、鲁棒性强的自监督多模态图像融合方法。