本发明公开了一种基于深度机器学习的建筑地震损伤和剩余能力评价方法，主要步骤如下：将RC构件震损照片作为输入，应用构件可视损伤识别模型自动识别可视地震损伤；RC构件力学性能退化评价模型基于可视震损识别结果，预测RC构件力学性能退化指标；调整RC构件力学模型参数并更新原建筑的有限元模型，得到震损建筑有限元模型；采用静力弹塑性分析方法评价震损建筑的剩余抗震能力。本发明评价方法能够由震损建筑图像自动识别可视地震损伤，采用物理意义明确的构件力学性能退化指标，并利用试验数据标定取值，定义明确、取值合理；直接根据构件的可视震损现象评估构件剩余力学性能，评估精度高，有利于提高震损建筑剩余抗震能力评价的准确性和合理性。