本发明公开了一种基于视觉图像交互的半导体晶圆检测方法及系统，包括，获取晶圆的晶圆图像，对预处理后晶圆图像进行视觉增益，获取全局特征并分割感兴趣区域；将感兴趣区域进行超分辨率重建，构建特征提取网络提取不同尺度超分辨率特征，并进行自适应特征融合；基于图卷积网络结合特征提取网络构建晶圆检测网络，利用缺陷数据集进行训练，获取融合特征在不同标签中的权重信息，根据权重信息与特征图结合获取标签表示；将标签表示导入图卷积网络获取标签节点向量，导入二分类器中输出最终缺陷类别。本发明通过提取超分辨率特征提高了细小缺陷的检测精度，实现晶圆中自动化检测，筛选出缺陷晶圆，提高半导体生产的良品率。