一种多模态图像融合方法、装置及设备

    公开(公告)号:CN116363037A

    公开(公告)日:2023-06-30

    申请号:CN202310638962.9

    申请日:2023-06-01

    摘要: 本发明提供一种多模态图像融合方法、装置及设备,方法包括:获取同一目标对象的不同模态的至少两张图像数据,并采用预设特征提取网络对每张图像数据进行特征信息提取,得到对应的特征图像;将不同模态的特征图像进行堆叠,得到堆叠后特征图像,并对堆叠后特征图像进行通道注意力处理,输出具有通道注意力的特征图;依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理,得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理,在保证注重全局和局部信息的情况下,将计算复杂度降低到线性,具有速度快,精度高的特点。

    基于注意力与特征分频的多模态融合模型训练方法及系统

    公开(公告)号:CN118379706B

    公开(公告)日:2024-08-20

    申请号:CN202410815243.4

    申请日:2024-06-24

    摘要: 本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统,方法包括:获取多模态数据,并将多模态数据输入至预训练特征提取网络当中,以分别提取出每一种模态数据对应的不同频率大小的多种特征图;将同一频率大小的不同模态的特征图进行通道拼合,并对多种频率的通道拼合后的特征图进行分频特征融合;将多种频率的融合特征图输入到预设目标位置识别网络当中,得到车辆附近的目标位置信息,并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新,得到车道线位置信息;计算损失函数并进行反向传播,以训练模型。本发明不仅可以提高模型识别精度,还能够有效节省计算量、提升硬件运算效率。

    一种用于预测变压器中性点杂散电流的方法及系统

    公开(公告)号:CN116432537A

    公开(公告)日:2023-07-14

    申请号:CN202310421482.7

    申请日:2023-04-19

    摘要: 本发明公开了一种用于预测变压器中性点杂散电流的方法,包括:采集城市不同位置的主变压器的噪声、震动、振动加速度和中性点电流并对中性点电流进行周期性分解;根据噪声、震动和振动加速度、以及分解后的中性点电流数据,构建用于预测电流缺失时段的中性点电流的电流预测模型,电流预测模型基于神经网络模型而建立;测量城市主变压器在正常运行状态下的噪声、震动和振动加速度、以及指定时间段内的中性点电流,利用所述电流预测模型,对电流缺失时段的中性点电流进行预测。本发明能够对变压器中性点的杂散电流进行全时段和准确的监测。

    基于多模态数据的决策树分类方法与系统

    公开(公告)号:CN115905984A

    公开(公告)日:2023-04-04

    申请号:CN202310220532.5

    申请日:2023-03-09

    摘要: 本发明提出一种基于多模态数据的决策树分类方法与系统,通过神经网络提取多模态数据特征向量,利用线性网络计算各模态各类别预测概率,拼接一维特征向量生成伪视图并计算伪视图各类别预测概率,同时动态评估各模态及伪视图的数据质量进行融合,综合利用了多模态数据的互补能力,有效提高了分类预测的准确率;与此同时,将各类别融合预测概率输入决策树,在决策树中进行软推理,并使用决策树路由信息对预测结果进行解释,能够说明预测的依据,增强预测结果的可信度。

    一种基于多模态融合与注意力机制的目标检测方法及系统

    公开(公告)号:CN118230113A

    公开(公告)日:2024-06-21

    申请号:CN202410659894.9

    申请日:2024-05-27

    摘要: 本发明提供了一种基于多模态融合与注意力机制的目标检测方法及系统,该方法包括:对每一图像信息进行堆叠处理,以生成对应的目标图像信息;通过若干特征提取模块以及切片特征融合模块实时提取出目标图像信息中包含的若干目标特征图,并将最后三张特征图输入至预设第一算法中,以使预设第一算法输出对应的目标信息;实时检测出与目标信息对应的预测值以及真实值,并根据预测值以及真实值构建出对应的损失函数;对损失函数进行训练,以输出对应的网络权重文件,并构建出对应的多模态目标检测网络,以通过多模态目标检测网络实时确定出目标场景中的目标物体的位置。本发明能够快速的完成多模态数据的融合,提升了工作效率。

    一种多模态图像融合方法、装置及设备

    公开(公告)号:CN116363037B

    公开(公告)日:2023-08-11

    申请号:CN202310638962.9

    申请日:2023-06-01

    摘要: 本发明提供一种多模态图像融合方法、装置及设备,方法包括:获取同一目标对象的不同模态的至少两张图像数据,并采用预设特征提取网络对每张图像数据进行特征信息提取,得到对应的特征图像;将不同模态的特征图像进行堆叠,得到堆叠后特征图像,并对堆叠后特征图像进行通道注意力处理,输出具有通道注意力的特征图;依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理,得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理,在保证注重全局和局部信息的情况下,将计算复杂度降低到线性,具有速度快,精度高的特点。

    基于注意力与特征分频的多模态融合模型训练方法及系统

    公开(公告)号:CN118379706A

    公开(公告)日:2024-07-23

    申请号:CN202410815243.4

    申请日:2024-06-24

    摘要: 本发明提供一种基于注意力与特征分频的多模态融合模型训练方法及系统,方法包括:获取多模态数据,并将多模态数据输入至预训练特征提取网络当中,以分别提取出每一种模态数据对应的不同频率大小的多种特征图;将同一频率大小的不同模态的特征图进行通道拼合,并对多种频率的通道拼合后的特征图进行分频特征融合;将多种频率的融合特征图输入到预设目标位置识别网络当中,得到车辆附近的目标位置信息,并将多种频率的融合特征图输入到预设车道位置识别网络当中进行多次迭代更新,得到车道线位置信息;计算损失函数并进行反向传播,以训练模型。本发明不仅可以提高模型识别精度,还能够有效节省计算量、提升硬件运算效率。

    一种基于多模态融合与注意力机制的目标检测方法及系统

    公开(公告)号:CN118230113B

    公开(公告)日:2024-07-23

    申请号:CN202410659894.9

    申请日:2024-05-27

    摘要: 本发明提供了一种基于多模态融合与注意力机制的目标检测方法及系统,该方法包括:对每一图像信息进行堆叠处理,以生成对应的目标图像信息;通过若干特征提取模块以及切片特征融合模块实时提取出目标图像信息中包含的若干目标特征图,并将最后三张特征图输入至预设第一算法中,以使预设第一算法输出对应的目标信息;实时检测出与目标信息对应的预测值以及真实值,并根据预测值以及真实值构建出对应的损失函数;对损失函数进行训练,以输出对应的网络权重文件,并构建出对应的多模态目标检测网络,以通过多模态目标检测网络实时确定出目标场景中的目标物体的位置。本发明能够快速的完成多模态数据的融合,提升了工作效率。