-
公开(公告)号:CN117496319A
公开(公告)日:2024-02-02
申请号:CN202311453665.3
申请日:2023-11-02
Applicant: 东北大学
IPC: G06V10/80 , G06T7/30 , G06T3/4038
Abstract: 本发明提供一种基于未配准双模态图像融合的全天候目标检测系统及方法,涉及多模态图像目标检测技术领域。该系统包括:图像采集与注释模块、特征提取模块、配准模块、目标优化模块、解码模块。该方法包括:采集RGBT图像对并注释目标对象;利用特征提取网络对RGBT图像对进行特征提取;利用空间交叉注意力机制和利用通道交叉注意力机制处理提取到的特征,得到调整后的双模态特征;利用调整后的热红外图像特征对调整后的RGB图像特征进行重采样完成模态配准;并对模态配准后的RGB图像特征进行目标优化,得到融合增强特征;对融合增强特征进行卷积处理,并预测RGBT图像对中所有目标的所在位置和所属类别,提高了RGBT图像对的配准度,解决了复杂干扰背景的问题。