公开(公告)号：CN116342953A

公开(公告)日：2023-06-27

申请号：CN202310321310.2

申请日：2023-03-29

Applicant: 福州大学

Inventor： 沈英 ,  谢肖杨

IPC: G06V10/764 ,  G06V10/30 ,  G06V10/40 ,  G06V10/52 ,  G06V10/58 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明的目的在于提供一种基于残差收缩注意力网络的双模态目标检测模型及方法，所设计的模型包括：双流特征提取网络、双模态特征融合模块和多尺度路径聚合模块。其中，双流特征提取模块对输入的红外和可见光图像进行多尺度特征提取；双模态特征融合模块基于残差收缩注意力网络，对双模态特征自适应软阈值化去噪并融合，得到目标特征更显著的融合特征；多尺度路径聚合模块通过级联四个不同尺度的融合特征，结合位置注意力模块，得到聚合位置信息和语义信息的多尺度特征，并送入三层检测模块得到检测结果。通过本发明的方法，利用红外和可见光图像特征，可以在夜间低照度场景下得到目标信息更为显著的融合特征，提高目标检测效果。