本发明公开了一种基于机器视觉的数控加工单元系统，包括有运动控制系统和工业相机，所述运动控制系统中设置有数控系统，用于控制零件的加工；所述运动控制系统中还设置有机器人系统，用于控制机器人系统中的机器人抓取零件；所述运动控制系统中还设置有机器视觉系统，用于对图像进行处理；所述工业相机与机器视觉系统连接，用于采集图像，且由机器视觉系统中的视觉处理器进行图像处理，本发明涉及数控加工技术领域。本发明，解决了零件自身的不规则，或者进入机床后固定位置有偏差，导致加工过程仍按照设定程序执行时会出现加工偏差，进而造成质量和效率的问题。