本公开提供了一种基于机器视觉和目标检测的人员异常行为检测方法及系统获取卸车机作业现场图像、目标人员图像以及光照数据，并获取卸车机设备本身的作业反馈信息；对采集的图像进行预处理；提取所述目标人员图像的脸部特征数据，判断是否为异常人员，若因脸部遮挡无法提取脸部特征数据的目标人员则对其提取衣着特征，并判断是否为异常人员；根据作业反馈信息判断卸车机作业阶段，将异常人员的作业现场图像以及人体图像输入基于轻量化网络Mobilenetv2‑YOLOv4算法模型中判断是否出现异常行为。本公开提高了检测的精度以及速度。