本发明公开了铁路异物侵限领域的一种基于图像的铁路危险落石尺寸判断方法，方法的步骤包括：S1，获取视频序列图像，并标记出包含铁轨的限界区域；S2，跟踪识别所述限界区域里的落石；S3，判别落石是否在轨面上，当落石在轨面上时直接报警，当落石没有在轨面上时，执行步骤S4；S4，计算落石尺寸，当所述落石尺寸超过安全阈值时，直接报警，否则，返回步骤S2。本发明的方法解决了危及行车安全的落石尺寸计算和报警阈值设定两个问题，提升了应用落石识别技术的视频监控系统的报警处理效率。