公开(公告)号：CN117197008A

公开(公告)日：2023-12-08

申请号：CN202311027957.0

申请日：2023-08-15

Applicant: 武汉大学 ,  中国四维测绘技术有限公司

Inventor： 田昕 ,  柯成杰 ,  李对对 ,  田甜 ,  李娟 ,  徐明珠 ,  李松

IPC: G06T5/50 ,  G06T3/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出了一种基于融合校正的遥感图像融合方法和系统。在融合阶段，利用多尺度网络融合多光谱图像和全色图像，以利用不同尺度特征的互补性，提供更全面和丰富的信息；然后通道多头注意力构建的特征保持模块选择性地聚焦于对融合任务更有用的特征，降低不相关特征的影响，并将提取到的特征通过跳跃连接到图像重建阶段，从而保留更多的特征信息，减少空间细节、光谱信息在网络前向传播中丢失。在校正阶段，通过将得到的融合图像进行空间、光谱退化，得到空间残差和光谱残差，通过网络将空间残差和光谱残差进行融合，得到融合残差，并用它对融合图像进行校正。因此，融合得到的多光谱图像空间细节清晰、光谱失真小。

公开(公告)号：CN116205830A

公开(公告)日：2023-06-02

申请号：CN202310116959.0

申请日：2023-02-09

Applicant: 武汉大学

Inventor： 柯成杰 ,  田昕 ,  孙硕

IPC: G06T5/50 ,  G06N3/045

Abstract: 本发明提出了一种基于有监督、无监督学习相结合的遥感图像融合方法，来解决遥感图像融合领域中不同卫星下神经网络的弱泛化性导致融合图像不清晰的问题。我们利用Unet网络和Transformer网络相结合构建的有监督学习模型来学习全色、多光谱图像之间的先验映射关系。然后在切换卫星场景下，通过加载有监督学习中的模型参数得到初步融合图像，再利用损失函数驱动来对光谱、空间进行调整，克服了在某一颗卫星上训练的神经网络在其他遥感卫星下的弱泛化性。通过有监督、无监督相结合，既能够利用有监督学习全色、多光谱图像的一般先验映射关系，也能够利用无监督学习来自适应调整空间、光谱。因此，自适应调整后的多光谱图像空间细节清晰。

公开(公告)号：CN118967511A

公开(公告)日：2024-11-15

申请号：CN202411030816.9

申请日：2024-07-30

Applicant: 武汉大学

Inventor： 田昕 ,  张志远 ,  柯成杰 ,  励皓轩

IPC: G06T5/73 ,  G06T5/50 ,  G06T5/60 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种基于核引导的遥感图像全色锐化方法和系统，以解决单个固定模糊核训练的单一深度学习全色锐化模型在遇到不匹配的退化时可能会出现失真的泛化问题。该方法设计了一个具有强解释性的融合子网络，通过可学习注入矩阵将全色图像的细节注入到多光谱图像中。核估计子网络生成的先验退化信息可以表示多光谱图像的模糊程度，被用于更新可学习注入矩阵，以控制细节的注入，适应不同类型的退化。此外，通道Transformer在融合子网络中作为残差连接，有助于保留深度网络中的重要特征。通过核估计和融合子网络的结合，网络对各种未知退化的适应能力得到了增强，因此所提出的方法在复杂的退化情况下具有很大的优势。

公开(公告)号：CN115861749A

公开(公告)日：2023-03-28

申请号：CN202211491547.7

申请日：2022-11-25

Applicant: 武汉大学

Inventor： 柯成杰 ,  田昕 ,  李松

IPC: G06V10/80 ,  G06V20/13 ,  G06V10/54 ,  G06V10/774

Abstract: 本发明提出了一种基于窗口交叉注意力的遥感图像融合方法，利用基于窗口交叉注意的新型遥感图像融合网络，将全色和多光谱图像融合为高分辨率的多光谱图像。我们将高通滤波与深层特征提取相结合，以挖掘更多的纹理信息，克服了浅层提取对高频信息提取不充分的问题，根据特征相似度得到的多光谱和全色图像之间的关系更加准确。然后，我们在多光谱和全色图像的局部窗口之间通过像素级的窗口交叉注意机制建立了全色图像和多光谱图像间跨模态关系。与补丁级注意力相比，像素级注意力更有助于保存细粒度的特征。因此，更多来自全色图像的空间细节转移到多光谱图像中，融合后的多光谱图像更加清晰。