本发明公开了正交异性钢桥面板疲劳裂纹检测图像的识别方法，包括以下步骤：步骤1、筛选出超声波相控阵检测仪采用同一显示成像方式采集的正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；步骤2、通过加权算法将筛选出的缺陷图像处理成二维灰度图像；步骤3、基于图像颜色信息对处理成的二维灰度图像进行缺陷定位和截取；步骤4、将缺陷定位并截取后所有的图像缩放至相同的尺寸；步骤5、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的图像进行识别，判定出该显示成像方式中各个缺陷图像的缺陷类型是否为疲劳裂纹缺陷，若是则输出结果为疲劳裂纹，否则输出结果为其它类型缺陷。本发明应用时使得识别结果更为可靠，提高了疲劳裂纹的检出率。