本发明公开了一种预警铁路边坡异常的系统和方法，方法包括：获取目标区域的监控视频流，逐帧进行移动侦测，筛选出第一异常目标；利用训练好的神经网络模型，对第一信息列表中包含第一异常目标的图像进行进一步识别，筛选出第二异常目标；根据第一信息列表中包含第一异常目标的图像帧，判断其对应的第二图像中包含第二异常目标的图像帧是否大于八帧，若是，则判定该帧图像存在边坡异常目标，并进行第一次上报。本发明通过多次且不同方法的异常目标识别，避免了对高清图像和算力的依赖，同时保证了良好的识别准确度，大大提高了铁路边坡异常预警的工作效率，减少人工巡检的频率，从而降低工作人员在复杂环境中进行巡检的安全风险。