一种目标检测模型动态蒸馏训练方法及装置

    公开(公告)号:CN117636038A

    公开(公告)日:2024-03-01

    申请号:CN202311649881.5

    申请日:2023-12-01

    摘要: 本申请涉及一种目标检测模型动态蒸馏训练方法及装置,涉及深度学习模型优化技术领域,该方法包括以下步骤:利用学生模型及教师模型,对训练图片进行推理,获得各自的预测输出数据;基于学生模型的预测输出数据及训练图片的图片标签,获得学生模型的常规损失函数;筛选获得教师模型的高质量预测输出数据;计算教师模型的高质量预测输出数据和学生模型的预测输出数据之间的蒸馏损失函数;基于蒸馏损失函数及常规损失函数,获得学生模型的总损失函数,并以此训练学生模型。本申请基于大模型高质量的输出动态蒸馏小模型的技术原理,进行模型训练,在检测精度与推理速度之间实现较好的平衡,有效减少工业场景部署目标检测模型所需的人力和训练成本。

    DSP资源使用量的计算方法、装置、设备及存储介质

    公开(公告)号:CN117634562A

    公开(公告)日:2024-03-01

    申请号:CN202311593383.3

    申请日:2023-11-27

    IPC分类号: G06N3/0464 G06N3/063 G06F9/50

    摘要: 一种DSP资源使用量的计算方法、装置、设备及计算机可读存储介质,包括:通过确定待处理神经网络的算子类型,其中,所述算子类型包括卷积层和全连接层;根据所述卷积层的参数,确定所述卷积层的全流水时钟稀释度和DSP的复用率;根据所述全连接层的参数,确定所述全连接层的全流水时钟稀释度和DSP的复用率;基于所述卷积层的全流水时钟稀释度、DSP的复用率和静态参数,以及所述全连接层的全流水时钟稀释度、DSP的复用率和静态参数,计算出所述待处理神经网络的DSP资源使用量,解决了相关技术中存在部署全流水设计架构神经网络的硬件资源,过度依赖工程师经验,且评估不准确的技术问题,实现了不依赖工程师经验,且提高了准确率和效率。