公开(公告)号：CN118379706B

公开(公告)日：2024-08-20

申请号：CN202410815243.4

申请日：2024-06-24

申请人： 华东交通大学

发明人： 王辉 ,  姜朱丰 ,  夏玉婷 ,  李泽龙 ,  范自柱 ,  罗国亮 ,  杨辉

IPC分类号： G06V20/56 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06N3/0499 ,  G06N3/084

摘要： 本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统，方法包括：获取多模态数据，并将多模态数据输入至预训练特征提取网络当中，以分别提取出每一种模态数据对应的不同频率大小的多种特征图；将同一频率大小的不同模态的特征图进行通道拼合，并对多种频率的通道拼合后的特征图进行分频特征融合；将多种频率的融合特征图输入到预设目标位置识别网络当中，得到车辆附近的目标位置信息，并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新，得到车道线位置信息；计算损失函数并进行反向传播，以训练模型。本发明不仅可以提高模型识别精度，还能够有效节省计算量、提升硬件运算效率。

公开(公告)号：CN118379706A

公开(公告)日：2024-07-23

申请号：CN202410815243.4

申请日：2024-06-24

申请人： 华东交通大学

发明人： 王辉 ,  姜朱丰 ,  夏玉婷 ,  李泽龙 ,  范自柱 ,  罗国亮 ,  杨辉

IPC分类号： G06V20/56 ,  G06V10/80 ,  G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06N3/0499 ,  G06N3/084

摘要： 本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统，方法包括：获取多模态数据，并将多模态数据输入至预训练特征提取网络当中，以分别提取出每一种模态数据对应的不同频率大小的多种特征图；将同一频率大小的不同模态的特征图进行通道拼合，并对多种频率的通道拼合后的特征图进行分频特征融合；将多种频率的融合特征图输入到预设目标位置识别网络当中，得到车辆附近的目标位置信息，并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新，得到车道线位置信息；计算损失函数并进行反向传播，以训练模型。本发明不仅可以提高模型识别精度，还能够有效节省计算量、提升硬件运算效率。