公开(公告)号：CN117253113A

公开(公告)日：2023-12-19

申请号：CN202311171486.0

申请日：2023-09-12

Applicant: 南京信息工程大学

Inventor： 陈苏婷 ,  代康 ,  陈志伟 ,  吴旭 ,  汪鸿健

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06V10/26 ,  G06V20/56

Abstract: 本发明公开了一种基于车载相机多模态特征融合方法，包括步骤1：特征注意力阶段：构建分组特征交叉注意力机制网络，对特征图交叉定位空间信息，提取关键特征，得到特征注意力图，步骤2：特征融合阶段：构建动态特征重定义网络，将特征注意力图输入至动态特征重定义网络，根据输入特征图的相关性获得相似性得分，自适应地加权模态间相对应的特征得到重定义特征图；构建跨模态特征提取网络，将重定义的特征图输入至跨模态特征提取网络，融合另一模态的特征信息，得到双分支网络下一阶段的输出。本发明的多模态融合方法可以更好的利用车载相机的多模态特征信息，使特征提取网络有效学习目标的特征信息。