本发明公开了一种基于级联区域卷积神经网络的轮毂缺陷检测方法，包括如下步骤：S1、采集轮毂X光图像；S2、采用自适应阈值分割对轮毂X光图像进行预处理；S3、训练并优化轻量级卷积神经网络模型，用训练和优化后的模型对轮毂X光图像进行初步筛选，如有严重缺陷则过检失败，回炉重铸，非严重缺陷则进行轮毂缺陷检测；S4、建立基于级联区域卷积神经网络的缺陷检测模型，基于级联区域卷积神经网络的缺陷检测模型包括特征提取网络、特征金字塔网络以及级联检测器；S5、获取轮毂缺陷信息并计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级，本发明实现了铝合金轮毂缺陷的实时检测，以满足轮毂全自动生产的需求。