本发明公开了一种基于深度学习的船舶黑烟识别方法，包括如下步骤：S1、构建数据集；S2、数据集预处理；S3、构建船舶黑烟识别模型；S4、实时监测。该方法基于改进的YOLO v4网络模型，通过对损失函数进行针对性的修改来增加困难样本的损失权重，进而能够克服黑烟样本集不均衡的所带来的识别困难。该方法在高识别精度的基础上保持较快的识别速度，可以满足相关管理部门对船舶黑烟识别的准确性、实时性需求，同时适用于图片检测和视频检测。此外，本发明所提出的混合马赛克数据扩增方法能够保证网络模型在单GPU环境下稳定、高速训练，节省目标识别算法的计算资源和训练时间，具有较大的工业生产价值和推广价值。