公开(公告)号：CN118411296A

公开(公告)日：2024-07-30

申请号：CN202410547329.3

申请日：2024-05-06

Applicant: 南京邮电大学

Inventor： 尹海涛 ,  周昌盛

IPC: G06T5/50 ,  G06T5/60 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于卷积和Transformer协同的红外与可见光图像的融合方法，属于图像处理领域，该方法包括：构造训练数据集，所述数据集包括多对红外和可见光图片，对其进行预处理；构建图像融合网络，所述融合网络包括特征提取部分和融合图像重构部分，特征提取部分包括Transformer分支和卷积分支，分别由三个不同层次的Transformer模块和卷积模块组成，两个分支之间通过互补特征增强模块形成交互；构建损失函数，将预处理后的红外和可见光图像在通道维度上拼接并传递给构建的网络，进行训练。与现有方法相比，该方法能显著提高融合图像的信息丰富度和视觉质量，适用于视频监控、行人检测和物体跟踪等领域。

公开(公告)号：CN116935177A

公开(公告)日：2023-10-24

申请号：CN202310899655.6

申请日：2023-07-21

Applicant: 南京邮电大学

Inventor： 尹海涛 ,  周昌盛

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明属于图像处理领域，公开了一种基于多阶段生成对抗网络的红外与可见光图像融合方法，包括：步骤1，构造训练数据集，并对其进行预处理操作；步骤2，将经过预处理的红外与可见光图像在通道维度上拼接并传递给生成器，即构建的多阶段网络，生成融合图像；步骤3，将融合图像与源图像即红外图像与可见光图像传递给判别器，判别输入图像是融合图像还是源图像；步骤4，构建损失函数，训练网络；步骤5，选取多种数据集，评估网络性能。实验证明，本发明能显著提升融合图像的质量，为后续的图像分类、分割、识别与跟踪等高级图像处理任务提供更准确和可靠的数据。