本发明公开了一种基于多模态特征融合的双时相遥感影像语义变化检测方法，包括以下几个步骤：步骤A：对多时相遥感影像数据集进行数据增强的预处理；步骤B：构建基于多模态特征融合的卷积神经网络模型，利用数据集训练卷积神经网络，获得训练模型；步骤C：利用训练模型对数据集进行数据清理；步骤D：利用清理后的数据重新训练模型，并对测试数据进行测试得到预测结果；步骤E：变化检测预测结果后处理。本发明提供的基于多模态特征融合的双时相遥感影像语义变化检测方法，可以在检测出变化区域的同时检测出区域变化前后的类别，应用范围更广泛，同时满足端到端处理，不需要人工进行其他处理，便于工程应用。