- 专利标题: 基于注意力与特征分频的多模态融合模型训练方法及系统
-
申请号: CN202410815243.4申请日: 2024-06-24
-
公开(公告)号: CN118379706A公开(公告)日: 2024-07-23
- 发明人: 王辉 , 姜朱丰 , 夏玉婷 , 李泽龙 , 范自柱 , 罗国亮 , 杨辉
- 申请人: 华东交通大学
- 申请人地址: 江西省南昌市经济技术开发区双港东大街808号
- 专利权人: 华东交通大学
- 当前专利权人: 华东交通大学
- 当前专利权人地址: 江西省南昌市经济技术开发区双港东大街808号
- 代理机构: 南昌旭瑞知识产权代理事务所
- 代理商 曹远龙
- 主分类号: G06V20/56
- IPC分类号: G06V20/56 ; G06V10/80 ; G06V10/82 ; G06V10/774 ; G06V10/764 ; G06N3/0499 ; G06N3/084
摘要:
本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统,方法包括:获取多模态数据,并将多模态数据输入至预训练特征提取网络当中,以分别提取出每一种模态数据对应的不同频率大小的多种特征图;将同一频率大小的不同模态的特征图进行通道拼合,并对多种频率的通道拼合后的特征图进行分频特征融合;将多种频率的融合特征图输入到预设目标位置识别网络当中,得到车辆附近的目标位置信息,并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新,得到车道线位置信息;计算损失函数并进行反向传播,以训练模型。本发明不仅可以提高模型识别精度,还能够有效节省计算量、提升硬件运算效率。
公开/授权文献
- CN118379706B 基于注意力与特征分频的多模态融合模型训练方法及系统 公开/授权日:2024-08-20