本发明涉及螺栓图像故障识别检测技术领域，公开了一种多尺度融合的钢轨螺栓组件故障检测方法，包括如下步骤：S1：对钢轨螺栓组件图像进行多层次的特征提取，提取出钢轨连接处的整排螺栓组件特征；S2：将整排螺栓组件特征进行池化，池化后特征融合，得到单个螺栓组件特征；S3：对步骤S1提取的浅层特征做下采样，并对步骤S2中的深层特征进行上采样，将采样后的特征进行融合从而输出三组维度不同的螺栓局部特征；S4：对S3中三组提取的特征进行预测并依据结果在原钢轨图像中框出螺栓组件以及状态标签；该方法预测精度高，检测速度快；在主干网络中构建残差边，增强网络的学习能力，以及采用Msih激活函数，使得处理后的数据更平滑，梯度下降处理较好。