一种基于语义感知学习的多模态图像融合方法

    公开(公告)号:CN118097362B

    公开(公告)日:2024-07-05

    申请号:CN202410512661.6

    申请日:2024-04-26

    Abstract: 为了解决现有的图像融合方法融合结果对下游任务如目标检测等无法起到促进作用,以及融合效果不佳的技术问题,本发明提出一种基于语义感知学习的多模态图像融合方法,用于融合长波红外、中波红外和短波红外图像从而生成高质量融合图像。本发明先构建并训练语义分割网络,再构建嵌套密集连接的融合网络并利用训练好的语义分割网络指导该融合网络训练,最终训练好的融合网络能够对图像中不同区域采用不同的融合策略实现对图像融合过程的细粒度控制,突出目标的纹理细节和像素强度信息,使得融合结果更加符合图像中不同区域的语义信息,提高了融合结果的信息熵等融合质量评价指标,对下游任务如目标检测起到很好的促进作用。

    一种基于语义感知学习的多模态图像融合方法

    公开(公告)号:CN118097362A

    公开(公告)日:2024-05-28

    申请号:CN202410512661.6

    申请日:2024-04-26

    Abstract: 为了解决现有的图像融合方法融合结果对下游任务如目标检测等无法起到促进作用,以及融合效果不佳的技术问题,本发明提出一种基于语义感知学习的多模态图像融合方法,用于融合长波红外、中波红外和短波红外图像从而生成高质量融合图像。本发明先构建并训练语义分割网络,再构建嵌套密集连接的融合网络并利用训练好的语义分割网络指导该融合网络训练,最终训练好的融合网络能够对图像中不同区域采用不同的融合策略实现对图像融合过程的细粒度控制,突出目标的纹理细节和像素强度信息,使得融合结果更加符合图像中不同区域的语义信息,提高了融合结果的信息熵等融合质量评价指标,对下游任务如目标检测起到很好的促进作用。

Patent Agency Ranking