基于上下文注意力机制和信息融合的实时语义分割方法

    公开(公告)号:CN112541503B

    公开(公告)日:2022-08-26

    申请号:CN202011439171.6

    申请日:2020-12-11

    摘要: 本发明公开了一种基于上下文注意力机制和信息融合的实时语义分割方法,首先构建实时语义分割网络,对预先获取的数据集中的图像以及对应的标签进行预处理,再输入到所搭建的网络中进行训练;网络中,输入图像经过三组单独的降采样模块,使其分辨率分辨变为原来的1//2、1/4和1/8,三个不同尺寸的特征图分别与后续的主干网络不同阶段的特征进行特征融合;每个阶段特征融合之后,进入到注意力模块;融合后的特征经过分类的卷积操作输出最终的预测结果并与对应语义标注图像进行对比,计算交叉熵损失函数作为目标函数,从而得到训练好的网络模型。本发明本发明不仅保证了语义分割的高精度,又保证了高效的推理速度以及适合边界设备的内存容量。

    基于上下文注意力机制和信息融合的实时语义分割方法

    公开(公告)号:CN112541503A

    公开(公告)日:2021-03-23

    申请号:CN202011439171.6

    申请日:2020-12-11

    摘要: 本发明公开了一种基于上下文注意力机制和信息融合的实时语义分割方法,首先构建实时语义分割网络,对预先获取的数据集中的图像以及对应的标签进行预处理,再输入到所搭建的网络中进行训练;网络中,输入图像经过三组单独的降采样模块,使其分辨率分辨变为原来的1//2、1/4和1/8,三个不同尺寸的特征图分别与后续的主干网络不同阶段的特征进行特征融合;每个阶段特征融合之后,进入到注意力模块;融合后的特征经过分类的卷积操作输出最终的预测结果并与对应语义标注图像进行对比,计算交叉熵损失函数作为目标函数,从而得到训练好的网络模型。本发明本发明不仅保证了语义分割的高精度,又保证了高效的推理速度以及适合边界设备的内存容量。

    一种基于知识蒸馏的可见光-红外跨模态行人重识别方法

    公开(公告)号:CN112597866B

    公开(公告)日:2022-08-02

    申请号:CN202011489557.8

    申请日:2020-12-16

    摘要: 本发明公开了一种基于知识蒸馏的可见光‑红外跨模态行人重识别方法,以残差网络为基础,包括特征提取部分、特征映射部分和损失函数三部分;初始输入K对图片至特征提取部分,进行浅层特征提取;所述K对图片中每对包括针对同一目标的一张可见光图片和一张红外图片,并且引入知识蒸馏函数,计算损失函数;然后将浅层特征提取结果输入至特征映射部分,提取可见光模态和红外模态的模态共享特征;最后依次经过GEM池化层、批归一化层和全连接层,输出分类结果;本发明还设计了改进枚举损失函数,进一步解决传统可见光图像模式到红外图像模式模态差异大的问题。

    一种基于知识蒸馏的可见光-红外跨模态行人重识别方法

    公开(公告)号:CN112597866A

    公开(公告)日:2021-04-02

    申请号:CN202011489557.8

    申请日:2020-12-16

    摘要: 本发明公开了一种基于知识蒸馏的可见光‑红外跨模态行人重识别方法,以残差网络为基础,包括特征提取部分、特征映射部分和损失函数三部分;初始输入K对图片至特征提取部分,进行浅层特征提取;所述K对图片中每对包括针对同一目标的一张可见光图片和一张红外图片,并且引入知识蒸馏函数,计算损失函数;然后将浅层特征提取结果输入至特征映射部分,提取可见光模态和红外模态的模态共享特征;最后依次经过GEM池化层、批归一化层和全连接层,输出分类结果;本发明还设计了改进枚举损失函数,进一步解决传统可见光图像模式到红外图像模式模态差异大的问题。