本发明涉及图像处理技术领域，具体涉及基于计算机视觉的金属钮扣表面缺陷检测方法，该方法包括：获取金属纽扣表面图像；根据像素点的灰度分布得到各像素点的灰度波动因子；进而提取待分析像素点；根据像素点的梯度幅值的变化情况构建像素点的梯度变化系数；根据像素点的梯度方向构建像素点的方向一致因子和方向相似因子；基于方向一致因子和方向相似因子构建方向一致性系数；根据梯度变化系数、方向一致性系数及灰度波动因子构建缺陷置信度；根据缺陷置信度构建自适应显著值；利用语义分割神经网络实现对金属纽扣的缺陷检测。本发明可实现针对性的加强疑似缺陷像素点的显著程度，提高后续缺陷检测的准确性。