本发明公开了一种基于计算机视觉的建筑工地安全帽佩戴检测系统及方法，包括如下步骤：获取对齐且增强的多模态数据集，采用多尺度特征提取与融合方法进行处理，得到融合特征集；获取融合特征集和增强后的深度图像，采用深度感知密度聚类RPN算法进行处理，得到候选区域集；然后采用多阶段安全帽检测与分类方法进行处理，得到初步的安全帽检测与分类结果，形成分类结果集；获取得到的候选区域集和分类结果集，以及对齐且增强的多模态数据集，采用多阶段后处理与结果优化方法进行处理，得到最终的安全帽检测与分类结果。大大提高了检测效率，在实际场景中使用效果较好。