公开(公告)号：CN116486251A

公开(公告)日：2023-07-25

申请号：CN202310182438.5

申请日：2023-03-01

Applicant: 中国矿业大学

Inventor： 王雪松 ,  程玉虎 ,  张威 ,  李华占 ,  王浩宇

IPC: G06V20/10 ,  G06V10/52 ,  G06V10/58 ,  G06V10/764 ,  G06V10/80 ,  G06V10/77 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态融合的高光谱图像分类方法，首先，通过维度统一层统一高光谱和激光雷达数据的维度；然后，通过多尺度分组卷积分别提取高光谱和激光雷达数据的多个尺度空间特征，并在对应尺度上进行多模态特征聚合，得到多个尺度的多模态聚合特征，进行拼接后得到多尺度聚合特征，并对其进行全局平均池化和全局最大池化，并结合全局协方差信息获得多模态数据的多尺度全局信息；接着，结合多模态数据的多尺度全局信息对不同尺度的多模态聚合特征进行融合，得到多模态空间融合特征；最后，利用激光雷达的空间拓扑信息对多模态空间融合特征进行拓扑约束，并将此约束下的多模态空间融合特征输入分类器完成分类任务。