本发明公开了一种基于卷积神经网络的不均衡缺陷样本的检测方法，包括如下步骤：（1）收集前期数据：收集两种类型的数据，一种是产品原始的缺陷数据，并制作训练集原始图像；第二种是生产环境中生产出的没有缺陷的数据，称为无缺陷数据，形成无缺陷图像；（2）制作原始缺陷数据的标签图像；（3）深度神经网络训练：（4）缺陷推理：对于实际生产环境中的一张新的图像，随机抽取多张无缺陷图像，每一张无缺陷图像与新的图像级联形成6通道输入，送入网络得到输出，投票得出最后的缺陷像素。本发明通过收集缺陷数据和无缺陷数据，即加入大量的无缺陷样本形成新的数据输入，从而提升了检测性能，可以处理一些新类型的缺陷。