一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统

    公开(公告)号:CN118781331B

    公开(公告)日:2024-12-27

    申请号:CN202411259450.2

    申请日:2024-09-10

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统,本发明包括构建和训练以红外模态图像与可见光模态图像作为输入的教师网络模型,以可见光模态图像/红外模态图像作为输入的学生网络模型,利用可见光模态图像的样本训练学生网络模型,将可见光模态图像及其对应的红外模态图像的样本输入教师网络模型,利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失来训练优化学生网络模型的网络参数,直至完成对学生网络模型的训练以用于对输入的可见光模态图像进行旋转目标识别。本发明旨提高学生网络模型的检测精度,同时兼具跨模态检测功能。

    一种遥感高光谱与激光雷达图像融合分类方法及装置

    公开(公告)号:CN114694039B

    公开(公告)日:2024-06-28

    申请号:CN202210396604.7

    申请日:2022-04-15

    Applicant: 湖南大学

    Abstract: 本发明公开了一种遥感高光谱与激光雷达图像融合分类方法及装置,本发明方法包括将高光谱图像T1和雷达图像T2融合得到像素级融合图像Tp;对Tp进行超像素分割得到标签矩阵L,参照L对Tp进行逐超像素均值化处理得到超像素级融合图像Tsp;对Tp、Tsp降维得到降维后的像素级融合图像Tpd、超像素级融合图像Tspd;对Tpd、Tspd特征融合得到融合特征F,引入空间注意力模块优化得到优化融合特征Fo;利用分类器进行分类得到分类结果G。本发明能够充分利用像素级/超像素级光谱差异特性和空间结构特性,可提取结构更加紧凑、辨识性更高的多模态多层级融合特征,实现面向遥感高光谱图像与雷达图像的高效融合分类。

    高光谱与激光雷达多模图像空谱融合地物识别方法与装置

    公开(公告)号:CN117036879A

    公开(公告)日:2023-11-10

    申请号:CN202310910549.3

    申请日:2023-07-24

    Applicant: 湖南大学

    Abstract: 本发明公开了一种高光谱与激光雷达多模图像空谱融合地物识别方法与装置,本发明包括先根据高光谱图像生成高光谱空间图像块和光谱向量、根据雷达图像生成雷达空间图像块;再利用多级空间‑光谱融合编码器网络进行空间‑光谱特征级融合得到多级融合编码特征并通过分类器网络分类得到地物样本的分类结果,其中多级空间‑光谱融合编码器网络由输出相乘的双分支空间特征编码器支路和光谱特征编码器支路组成,光谱特征编码器支路包括特征嵌入层以及级联的多个光谱特征编码器。本发明旨在解决高光谱与激光雷达等多模遥感图像之间的异质性多源遥感数据融合难题,实现对多级空谱融合特征的挖掘,使得分类器网络的性能不需要高度依赖于标注样本数量。

    一种基于多任务协同学习的多模图像融合识别方法及系统

    公开(公告)号:CN119380000B

    公开(公告)日:2025-04-01

    申请号:CN202411919466.1

    申请日:2024-12-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于多任务协同学习的多模图像融合识别方法及系统,本发明方法包括将多模图像输入预先训练好的多模图像融合识别网络进行图像识别以获得多模图像融合识别结果,包括:通过编码器提取得到多个不同分辨率的特征图;通过图像融合网络提取对应模态的特征图并提取图像融合权重,将图像融合权重和相应模态的原始图像进行元素相乘操作后相加以生成融合图像;通过权重引导的特征融合模块基于图像融合权重进行权重引导的特征融合以获取不同分辨率的融合特征;通过语义分割解码器解码得到多模图像融合识别结果。本发明旨在实现紧密结合多模态图像融合与分割以同时提升各自的性能,从而实现对感兴趣目标位置的准确估计和类别的精确识别。

    一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统

    公开(公告)号:CN118781331A

    公开(公告)日:2024-10-15

    申请号:CN202411259450.2

    申请日:2024-09-10

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统,本发明包括构建和训练以红外模态图像与可见光模态图像作为输入的教师网络模型,以可见光模态图像/红外模态图像作为输入的学生网络模型,利用可见光模态图像的样本训练学生网络模型,将可见光模态图像及其对应的红外模态图像的样本输入教师网络模型,利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失来训练优化学生网络模型的网络参数,直至完成对学生网络模型的训练以用于对输入的可见光模态图像进行旋转目标识别。本发明旨提高学生网络模型的检测精度,同时兼具跨模态检测功能。

    一种多尺度多方向遥感目标识别方法、系统及介质

    公开(公告)号:CN117475323A

    公开(公告)日:2024-01-30

    申请号:CN202311510422.9

    申请日:2023-11-13

    Applicant: 湖南大学

    Abstract: 本发明公开了一种多尺度多方向遥感目标识别方法、系统及介质,本发明方法包括将遥感图像切分成图像块,将图像块输入网络模型进行目标识别,包括:通过主干网对输入的图像块提取特征;通过多尺度聚合模块通过多尺度聚合得到聚合特征;通过检测头对聚合特征提取方向敏感特征送入定位分支和分类分支,在定位分支实现锚框、不确定度和交并比回归,在分类分支提取方向不变特征再进行分类,并基于类别预测得到的得分、不确定度预测结果、交并比预测结果构建的质量评价函数对筛选最佳的锚框。本发明旨在针对遥感图像类间目标和类内目标都存在尺度差异大和目标朝向任意的问题,实现对多尺度、多方向目标的精确检测。

    一种遥感高光谱与激光雷达图像融合分类方法及装置

    公开(公告)号:CN114694039A

    公开(公告)日:2022-07-01

    申请号:CN202210396604.7

    申请日:2022-04-15

    Applicant: 湖南大学

    Abstract: 本发明公开了一种遥感高光谱与激光雷达图像融合分类方法及装置,本发明方法包括将高光谱图像T1和雷达图像T2融合得到像素级融合图像Tp;对Tp进行超像素分割得到标签矩阵L,参照L对Tp进行逐超像素均值化处理得到超像素级融合图像Tsp;对Tp、Tsp降维得到降维后的像素级融合图像Tpd、超像素级融合图像Tspd;对Tpd、Tspd特征融合得到融合特征F,引入空间注意力模块优化得到优化融合特征Fo;利用分类器进行分类得到分类结果G。本发明能够充分利用像素级/超像素级光谱差异特性和空间结构特性,可提取结构更加紧凑、辨识性更高的多模态多层级融合特征,实现面向遥感高光谱图像与雷达图像的高效融合分类。

    一种基于多任务协同学习的多模图像融合识别方法及系统

    公开(公告)号:CN119380000A

    公开(公告)日:2025-01-28

    申请号:CN202411919466.1

    申请日:2024-12-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于多任务协同学习的多模图像融合识别方法及系统,本发明方法包括将多模图像输入预先训练好的多模图像融合识别网络进行图像识别以获得多模图像融合识别结果,包括:通过编码器提取得到多个不同分辨率的特征图;通过图像融合网络提取对应模态的特征图并提取图像融合权重,将图像融合权重和相应模态的原始图像进行元素相乘操作后相加以生成融合图像;通过权重引导的特征融合模块基于图像融合权重进行权重引导的特征融合以获取不同分辨率的融合特征;通过语义分割解码器解码得到多模图像融合识别结果。本发明旨在实现紧密结合多模态图像融合与分割以同时提升各自的性能,从而实现对感兴趣目标位置的准确估计和类别的精确识别。

    多模型协同优化高分遥感图像半监督变化检测方法及系统

    公开(公告)号:CN114743109B

    公开(公告)日:2024-07-02

    申请号:CN202210461115.5

    申请日:2022-04-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种多模型协同优化高分遥感图像半监督变化检测方法及系统,包括将有标签训练集XL训练孪生神经网络模型S,得到有标签训练模型S(XL,θ),加入蒙特卡罗移除层,对无标签训练集XU进行多模型协同预测并筛选生成伪标签训练集X'U;为有标签训练集XL选择显著变化区域并剪裁到伪标签训练集X'U中得到增强的伪标签数据集XM;将有标签训练集XL和增强的伪标签数据集XM共同训练孪生神经网络模型S。本发明只需要少量的标签就可完成较高精度的变化检测,能够结合真实标签与伪标签,利用监督学习改进半监督学习过程,增加了更多的边缘数据,并且使正负样本分布更平衡,提升了变化检测性能。

    多模型协同优化高分遥感图像半监督变化检测方法及系统

    公开(公告)号:CN114743109A

    公开(公告)日:2022-07-12

    申请号:CN202210461115.5

    申请日:2022-04-28

    Applicant: 湖南大学

    Abstract: 本发明公开了一种多模型协同优化高分遥感图像半监督变化检测方法及系统,包括将有标签训练集XL训练孪生神经网络模型S,得到有标签训练模型S(XL,θ),加入蒙特卡罗移除层,对无标签训练集XU进行多模型协同预测并筛选生成伪标签训练集X'U;为有标签训练集XL选择显著变化区域并剪裁到伪标签训练集X'U中得到增强的伪标签数据集XM;将有标签训练集XL和增强的伪标签数据集XM共同训练孪生神经网络模型S。本发明只需要少量的标签就可完成较高精度的变化检测,能够结合真实标签与伪标签,利用监督学习改进半监督学习过程,增加了更多的边缘数据,并且使正负样本分布更平衡,提升了变化检测性能。

Patent Agency Ranking