公开(公告)号：CN118898545A

公开(公告)日：2024-11-05

申请号：CN202411399521.9

申请日：2024-10-09

申请人： 西安电子科技大学杭州研究院

发明人： 朱春宇 ,  张廷豪 ,  仲秦 ,  王琦 ,  李亚超

IPC分类号： G06T5/50 ,  G06T5/60

摘要： 本发明属于图像处理技术领域，涉及一种多层级协同映射的高光谱与多光谱遥感图像融合方法，包括潜在空间投影单元、多层级特征映射单元和自适应特征融合单元；潜在空间投影单元通过两个卷积层将输入的图像数据投影到一个潜在表示空间，此过程通过学习得到的映射函数完成；多层级特征映射单元随后在该潜在空间内操作，其分为点级、局部和全局级映射三个层次；点级映射专注于像素级别的特征提取，而局部级映射则关注于邻域内的特征交互，全局级映射则着眼于整个图像层面的上下文信息。自适应特征融合单元以动态方式整合多层级特征，实现了高光谱与多光谱遥感图像的信息互补。本发明通过引入Mamba和隐式神经表示架构，具有较好的轻量化程度。

公开(公告)号：CN118229554B

公开(公告)日：2024-08-13

申请号：CN202410635243.6

申请日：2024-05-22

申请人： 西安电子科技大学杭州研究院

发明人： 朱春宇 ,  仲秦 ,  王琦 ,  李亚超

IPC分类号： G06T5/50 ,  G06T5/60 ,  G06T3/4053 ,  G06T3/4046 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/084 ,  G06N3/048

摘要： 本发明属于图像处理技术领域，涉及隐式Transformer高‑多光谱遥感融合方法，通过预编码模块、引导式特征融合和隐式Transformer模块协同以实现高光谱与多光谱遥感图像融合，在融合过程中充分利用图像的光谱和空间信息。其中，预编码模块通过并联的卷积层对高光谱遥感和多光谱遥感图像进行浅层编码，以提取图像的光谱和空间特征；引导式特征融合模块利用编码后的多光谱遥感图像引导高光谱遥感图像进行上采样，生成初步融合结果；隐式Transformer模块对初步融合结果进行整合，生成高质量融合图像。本发明融合方法还引入了生成对抗框架增强了融合图像谱表达能力，实现了高光谱与多光谱遥感图像的信息互补。

公开(公告)号：CN118229554A

公开(公告)日：2024-06-21

申请号：CN202410635243.6

申请日：2024-05-22

申请人： 西安电子科技大学杭州研究院

发明人： 朱春宇 ,  仲秦 ,  王琦 ,  李亚超

IPC分类号： G06T5/50 ,  G06T5/60 ,  G06T3/4053 ,  G06T3/4046 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/084 ,  G06N3/048

摘要： 本发明属于图像处理技术领域，涉及隐式Transformer高‑多光谱遥感融合方法，通过预编码模块、引导式特征融合和隐式Transformer模块协同以实现高光谱与多光谱遥感图像融合，在融合过程中充分利用图像的光谱和空间信息。其中，预编码模块通过并联的卷积层对高光谱遥感和多光谱遥感图像进行浅层编码，以提取图像的光谱和空间特征；引导式特征融合模块利用编码后的多光谱遥感图像引导高光谱遥感图像进行上采样，生成初步融合结果；隐式Transformer模块对初步融合结果进行整合，生成高质量融合图像。本发明融合方法还引入了生成对抗框架增强了融合图像谱表达能力，实现了高光谱与多光谱遥感图像的信息互补。