本发明涉及结构健康监测技术领域，具体公开了一种基于机器学习的结构损伤识别方法及系统，方法包括图像获取、有限元建模、CG建模、合成环境、标注图像、数据集创建、神经网络训练和损伤识别。本方案使用高层建筑不同角度和不同构件的图像建立包含损坏纹理的CG模型，并利用CG模型生成高层建筑的逼真图像以及各种构件和损坏类型的相应标签的数据集，使得模型具有更好的泛化能力；使用预训练的DeepLabv3+模型，通过在数据集上训练、验证以及测试，对模型参数进行微调，建立适用于高层建筑结构损伤识别的SD_DeepLabv3+模型，准确有效地学习高层建筑结构损伤的特征，实现对损伤构件的准确识别和分类。