公开(公告)号：CN119227757B

公开(公告)日：2025-03-04

申请号：CN202411752106.7

申请日：2024-12-02

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 王督 ,  彭博 ,  李哲暘 ,  谭文明

IPC: G06N3/0495 ,  G06N3/08

Abstract: 本申请实施例提供了一种模型压缩方法、装置、电子设备、存储介质及产品，涉及深度学习技术领域，方法包括：针对同一输入数据，分别利用待压缩模型和量化模型进行处理；计算待压缩模型与量化模型的输出数据之间的差异，作为量化模型对应的第一差异；按照第一差异对待压缩模型中每一网络层的量化参数进行调整；基于每一网络层的最优量化参数计算该网络层的连续域量化位宽；从需要部署模型的硬件平台所支持的各离散域量化位宽中，确定大于该网络层的连续域量化位宽且与该网络层的连续域量化位宽的差值最小的离散域量化位宽；从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中，确定对应的第二差异最小的目标压缩模型。可以提高模型的适用性。

公开(公告)号：CN116912662A

公开(公告)日：2023-10-20

申请号：CN202310897761.0

申请日：2023-07-20

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 王督 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06V10/82 ,  G06N3/048 ,  G06N3/0495 ,  G06N3/084 ,  G06V10/776

Abstract: 本申请实施例提供了一种对象检测模型训练方法、装置、电子设备及存储介质，应用于信息技术领域。应用本申请的方法，可以对对象检测模型训练过程中的网络层权重、输入以及激活值梯度进行量化，从而达到加速对象检测模型训练的目的。本申请将第一激活值梯度按照输出通道方向切割得到第二激活值梯度并计算缩放系数，再通过缩放系数与第二激活值梯度对网络层的输入梯度与网络层的权重梯度进行等价计算，降低对象检测模型在反向传播过程中量化梯度所带来的误差，从而在加速对象检测模型训练的同时，提升对象检测模型的准确度，达到对象检测模型训练效率与训练效果的平衡。

公开(公告)号：CN119227757A

公开(公告)日：2024-12-31

申请号：CN202411752106.7

申请日：2024-12-02

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 王督 ,  彭博 ,  李哲暘 ,  谭文明

IPC: G06N3/0495 ,  G06N3/08

Abstract: 本申请实施例提供了一种模型压缩方法、装置、电子设备、存储介质及产品，涉及深度学习技术领域，方法包括：针对同一输入数据，分别利用待压缩模型和量化模型进行处理；计算待压缩模型与量化模型的输出数据之间的差异，作为量化模型对应的第一差异；按照第一差异对待压缩模型中每一网络层的量化参数进行调整；基于每一网络层的最优量化参数计算该网络层的连续域量化位宽；从需要部署模型的硬件平台所支持的各离散域量化位宽中，确定大于该网络层的连续域量化位宽且与该网络层的连续域量化位宽的差值最小的离散域量化位宽；从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中，确定对应的第二差异最小的目标压缩模型。可以提高模型的适用性。