公开(公告)号：CN116311077A

公开(公告)日：2023-06-23

申请号：CN202310374850.7

申请日：2023-04-10

Applicant: 东北大学

Inventor： 宫彦 ,  王前进 ,  付振华 ,  王璐 ,  徐礼胜

IPC: G06V20/52 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/048 ,  G06N3/08

Abstract: 本申请提供了一种基于显著性图的多光谱融合的行人检测方法及装置，涉及智能驾驶技术领域，所述方法包括：获取当前时刻的目标区域的RGB图像和红外图像；对红外图像进行显著性行人检测处理，得到显著性图；利用预先训练完成的融合网络对RGB图像、显著性图和红外图像进行处理，得到多尺度行人检测结果；所述融合网络包括：Backbone网络，Neck网络和Head网络；所述Backbone网络，用于对RGB图像、显著性图和红外图像进行跨维度和跨通道的多模态特征提取，并通过可学习因子对多模态特征进行加权融合，得到行人区域显著的融合特征图；对融合特征图进行处理，得到三个尺度的特征图。本申请提高了夜间环境下行人检测的精度。

公开(公告)号：CN116311077B

公开(公告)日：2023-11-07

申请号：CN202310374850.7

申请日：2023-04-10

Applicant: 东北大学

Inventor： 宫彦 ,  王前进 ,  付振华 ,  王璐 ,  徐礼胜

IPC: G06V20/52 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/048 ,  G06N3/08

Abstract: 本申请提供了一种基于显著性图的多光谱融合的行人检测方法及装置，涉及智能驾驶技术领域，所述方法包括：获取当前时刻的目标区域的RGB图像和红外图像；对红外图像进行显著性行人检测处理，得到显著性图；利用预先训练完成的融合网络对RGB图像、显著性图和红外图像进行处理，得到多尺度行人检测结果；所述融合网络包括：Backbone网络，Neck网络和Head网络；所述Backbone网络，用于对RGB图像、显著性图和红外图像进行跨维度和跨通道的多模态特征提取，并通过可学习因子对多模态特征进行加权融合，得到行人区域显著的融合特征图；对融合特征图进行处理，得到三个尺度的特征图。本申请提高了夜间环境下行人检测的精度。