公开(公告)号：CN119580255A

公开(公告)日：2025-03-07

申请号：CN202411616287.0

申请日：2024-11-13

Applicant: 南京理工大学

Inventor： 许春燕 ,  王晨旭 ,  张晓雅 ,  王丹 ,  崔振

IPC: G06V20/70 ,  G06V20/10 ,  G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06V10/84 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/084

Abstract: 本发明公开了一种基于离散扩散模型的多模态遥感图像语义分割方法，涉及遥感图像语义分割领域。该方法首先提取每个模态的同构特征，使用参数非共享的全连接层提取每个模态同构特征的注意力权重并进行赋权，将赋权后的模态特征相加得到自适应融合后的多模态特征；然后利用状态转移矩阵在真实概率分布矩阵上添加随机噪声，得到所有类别概率都相等的概率矩阵，通过贝叶斯公式推导出离散扩散模型的逆扩散真实分布；最后将融合的多模态特征作为条件，扩散后的真实概率矩阵作为输入，预测未经扩散的真实概率矩阵。该方法能够有效应对不同模态间的异构性与信息冲突问题，显著提升模型对复杂环境的理解能力，增强其在多种场景中的泛化能力和鲁棒性。