本申请公开了一种基于机器视觉的钢轨表面检测方法和系统，该方法包括：接收高速摄像机拍摄得到的钢轨的视频；将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息；将每一张关键帧图像均输入到第一机器学习模型中；将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题。通过本申请解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。