-
公开(公告)号:CN109583561A
公开(公告)日:2019-04-05
申请号:CN201710899328.5
申请日:2017-09-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种深度神经网络的激活量量化方法及装置,其中,深度神经网络的激活量量化方法包括:针对深度神经网络中网络层的激活量,获取激活量的初始量化最大值;从初始量化最大值开始,按预设方式递减,得到包括多个数值的初始待选数值集合;计算利用初始待选数值集合中各数值对激活量进行量化得到的量化结果与激活量之间的重构误差;确定各数值对应的重构误差中的最小重构误差;基于与最小重构误差相对应的数值,确定第一量化最大值;根据第一量化最大值及预设比特数,对激活量进行量化。通过本方案可以减少量化带来的误差。
-
公开(公告)号:CN109543826A
公开(公告)日:2019-03-29
申请号:CN201710859537.7
申请日:2017-09-21
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 张渊
IPC: G06N3/06
Abstract: 本发明实施例提供了一种基于深度神经网络的激活量量化方法及装置,其中,基于深度神经网络的激活量量化方法包括:获取深度神经网络中网络层的激活量,其中,激活量中的元素按高度、宽度及深度三个方向排布;沿激活量的深度方向,将激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组,得到多个切片组;分别采用通过量化公式得到的各切片组对应的量化参数,对各切片组进行量化。通过本方案可以减小量化误差。
-
-
公开(公告)号:CN119670834A
公开(公告)日:2025-03-21
申请号:CN202311226850.9
申请日:2023-09-21
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请涉及计算机技术领域,公开了一种模型量化方法、设备、存储介质及装置,该方法包括:将待量化神经网络模型中多层权重的量化步长解耦为权重反量化步长,权重反量化步长用于将整数权重转回浮点权重,对待量化神经网络模型进行伪量化,基于校准数据集推理待量化神经网络模型伪量化前后的量化误差,根据量化误差对权重反量化步长进行更新,获得量化后神经网络模型,根据量化后神经网络模型的量化参数将量化后神经网络模型部署至目标部署平台;由于本申请将权重的量化步长解耦为权重反量化步长,权重反量化步长可以参与优化更新,从而能够减小量化误差损失,进而能够提高量化性能,提高模型量化精度。
-
公开(公告)号:CN117994149A
公开(公告)日:2024-05-07
申请号:CN202410172631.5
申请日:2024-02-06
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06T5/60 , H04N21/466 , H04N23/741 , H04N19/20 , H04N23/50 , G06T5/90 , G06N3/049 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本申请公开了图像重建方法及脉冲相机,方法包括:通过脉冲相机获取预设时间步长内的异步事件数据流,基于时间步长将异步事件数据流划分为多个具有相同时间戳的异步事件,异步事件包括至少一个像素事件的事件数据,事件数据包括像素事件的时间戳和空间信息;将每一个异步事件输入脉冲神经网络模型,进行编码以获取多个脉冲序列,在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列;将特征脉冲序列输入卷积神经网络模型进行卷积和特征提取处理,得到目标重建图像。本申请能够能有效利用异步事件数据流的时空信息,提高了图像重建任务的整体性能。
-
公开(公告)号:CN112561050B
公开(公告)日:2023-09-05
申请号:CN201910909494.8
申请日:2019-09-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/08
Abstract: 本申请实施例提供了一种神经网络模型训练方法及装置,获取训练样本,利用训练样本,对神经网络模型进行训练。在进行神经网络模型训练时,对输入每个网络层的第一激活量和每个网络层的网络权值进行幂指数域定点编码,编码后的第一激活量和网络权值为幂指数域定点数据,则在进行运算时,所涉及到的矩阵乘法,通过幂指数域编码方式,可以在幂指数域将乘法转换为加法操作,加法操作所需要的硬件资源明显少于乘法所需要的硬件资源,因此,可以大幅地降低运行神经网络模型需要的硬件资源开销。
-
公开(公告)号:CN116432735A
公开(公告)日:2023-07-14
申请号:CN202111671612.X
申请日:2021-12-31
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种数据处理方法、装置及边缘计算设备,该方法包括:对神经网络的第一输入数据进行量化处理,得到第二输入数据;根据第二输入数据和神经网络中每个网络层的所有正向计算参数的量化参数,确定神经网络的第一输出数据;对第一输出数据进行量化处理,得到第二输出数据;在训练神经网络时,将第二输出数据输入预设损失函数,获得第一反向梯度;对第一反向梯度进行量化处理,得到第二反向梯度;根据第二反向梯度和神经网络中每个网络层的所有反向计算参数的量化参数,调整神经网络中的正向计算参数。应用本申请实施例提供的技术方案,可以减少该神经网络的计算量,扩大神经网络的应用场景。
-
公开(公告)号:CN110874635B
公开(公告)日:2023-06-30
申请号:CN201811015359.0
申请日:2018-08-31
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种深度神经网络模型压缩方法及装置,深度神经网络模型压缩方法包括:获取待压缩深度神经网络模型中网络层的当前计算状态;根据当前计算状态,通过预先训练的计算模型,得到网络层的压缩量;基于压缩量,对网络层进行压缩;确定网络层压缩后的深度神经网络模型。通过本方案,可以保证深度神经网络模型的输出性能。
-
公开(公告)号:CN111144561B
公开(公告)日:2023-05-02
申请号:CN201811307230.7
申请日:2018-11-05
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082
Abstract: 本申请实施例提供了一种神经网络模型确定方法及装置,其中,神经网络模型确定方法包括:获取目标任务的任务配置参数、训练资源的资源配置参数、模型设计配置参数以及模型压缩配置参数;基于任务配置参数、资源配置参数及模型设计配置参数,生成针对目标任务的初始神经网络模型;根据模型压缩配置参数,选择相应的预设压缩方式,对初始神经网络模型进行压缩处理,得到待部署的神经网络模型。通过本方案,可以提高神经网络模型确定过程中的开发效率。
-
公开(公告)号:CN114298280A
公开(公告)日:2022-04-08
申请号:CN202111635076.8
申请日:2021-12-29
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种数据处理、网络训练方法、电子设备及存储介质,该方法包括:获取深度神经网络的网络层的输入数据,网络层的原始权重被分解为量化处理的N个子权重;将输入数据分别与N个子权重进行卷积处理,得到N个子权重对应的N个中间数据;对N个中间数据进行求和处理,得到网络层的输出数据。这样,将网络层的原始权重分解为量化处理的N个子权重,通过对N值的调整,可以灵活的平衡网络的效率与性能。
-
-
-
-
-
-
-
-
-