一种基于语义感知学习的多模态图像融合方法

    公开(公告)号:CN118097362B

    公开(公告)日:2024-07-05

    申请号:CN202410512661.6

    申请日:2024-04-26

    Abstract: 为了解决现有的图像融合方法融合结果对下游任务如目标检测等无法起到促进作用,以及融合效果不佳的技术问题,本发明提出一种基于语义感知学习的多模态图像融合方法,用于融合长波红外、中波红外和短波红外图像从而生成高质量融合图像。本发明先构建并训练语义分割网络,再构建嵌套密集连接的融合网络并利用训练好的语义分割网络指导该融合网络训练,最终训练好的融合网络能够对图像中不同区域采用不同的融合策略实现对图像融合过程的细粒度控制,突出目标的纹理细节和像素强度信息,使得融合结果更加符合图像中不同区域的语义信息,提高了融合结果的信息熵等融合质量评价指标,对下游任务如目标检测起到很好的促进作用。

    一种基于温度热力特性的红外背景多波段图像生成方法

    公开(公告)号:CN117495659A

    公开(公告)日:2024-02-02

    申请号:CN202311405331.9

    申请日:2023-10-27

    Abstract: 本发明涉及一种基于温度热力特性的红外背景多波段图像生成方法,属于图像处理、红外特性领域。用于合成真实的红外背景用作红外特征,利用红外成像系统仿真中的长波红外实现短波红外、中波红外之间的波段转换。首先利用长波波段的红外背景图转换为辐射值,再将辐射值转换为具有温度‑辐射特性的温度特性图;然后,将温度特性转换为对应波段的红外图像;最后根据变换后的红外背景的辐射值调整红外目标特征的灰度级,将红外目标和背景特征可以合成为特定波长的图像。

    一种适用于边缘部署的类注意力跨域景象匹配方法

    公开(公告)号:CN118506031B

    公开(公告)日:2024-10-01

    申请号:CN202410947146.0

    申请日:2024-07-16

    Abstract: 本申请是关于一种适用于边缘部署的类注意力跨域景象匹配方法,属于图像处理技术领域。包括:构建跨域景象匹配模型,包括相连接的特征提取网络和回归约束网络;利用公开图像数据集对特征提取网络进行预训练,得到特征提取网络的预训练权重;获取多个跨域图像,并进行数据增强处理,得到跨域景象数据集;利用跨域景象数据集对跨域景象匹配模型进行训练和验证,得到最终输出结果;根据最终输出结果,进行图像匹配算法推理,得到实时景象图和卫星影像图的跨域景象匹配结果。本申请能够提高无人机在应对全天候景象匹配时的稳定性,尤其提高了无人机在应对红外光和可见光之间进行跨域景象匹配时的鲁棒性,降低了边缘端部署难度,提升了实时解算速度。

    一种适用于边缘部署的类注意力跨域景象匹配方法

    公开(公告)号:CN118506031A

    公开(公告)日:2024-08-16

    申请号:CN202410947146.0

    申请日:2024-07-16

    Abstract: 本申请是关于一种适用于边缘部署的类注意力跨域景象匹配方法,属于图像处理技术领域。包括:构建跨域景象匹配模型,包括相连接的特征提取网络和回归约束网络;利用公开图像数据集对特征提取网络进行预训练,得到特征提取网络的预训练权重;获取多个跨域图像,并进行数据增强处理,得到跨域景象数据集;利用跨域景象数据集对跨域景象匹配模型进行训练和验证,得到最终输出结果;根据最终输出结果,进行图像匹配算法推理,得到实时景象图和卫星影像图的跨域景象匹配结果。本申请能够提高无人机在应对全天候景象匹配时的稳定性,尤其提高了无人机在应对红外光和可见光之间进行跨域景象匹配时的鲁棒性,降低了边缘端部署难度,提升了实时解算速度。

    一种基于语义感知学习的多模态图像融合方法

    公开(公告)号:CN118097362A

    公开(公告)日:2024-05-28

    申请号:CN202410512661.6

    申请日:2024-04-26

    Abstract: 为了解决现有的图像融合方法融合结果对下游任务如目标检测等无法起到促进作用,以及融合效果不佳的技术问题,本发明提出一种基于语义感知学习的多模态图像融合方法,用于融合长波红外、中波红外和短波红外图像从而生成高质量融合图像。本发明先构建并训练语义分割网络,再构建嵌套密集连接的融合网络并利用训练好的语义分割网络指导该融合网络训练,最终训练好的融合网络能够对图像中不同区域采用不同的融合策略实现对图像融合过程的细粒度控制,突出目标的纹理细节和像素强度信息,使得融合结果更加符合图像中不同区域的语义信息,提高了融合结果的信息熵等融合质量评价指标,对下游任务如目标检测起到很好的促进作用。

Patent Agency Ranking