-
公开(公告)号：CN111783996B
公开(公告)日：2023-08-25
申请号：CN202010562081.X
申请日：2020-06-18
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种数据处理方法、装置及设备，该方法包括：从服务器获取初始基线模型和样本数据对应的第一特征分布信息；获取初始噪声数据，将初始噪声数据输入给初始基线模型，得到初始噪声数据对应的第二特征分布信息；基于第一特征分布信息和第二特征分布信息对初始噪声数据进行训练，得到目标噪声数据；基于目标噪声数据和终端设备的场景数据对初始基线模型进行优化，得到优化后的目标基线模型；在所述终端设备部署所述目标基线模型，以通过所述目标基线模型对所述终端设备的应用数据进行处理。通过本申请的技术方案，目标噪声数据能够反映样本数据的特性，从而基于样本数据的特性对初始基线模型进行优化，解决样本数据缺失的问题。
-
公开(公告)号：CN110874636B
公开(公告)日：2023-06-30
申请号：CN201811027522.5
申请日：2018-09-04
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082 , G06N3/0464
Abstract: 本申请提供一种神经网络模型压缩方法、装置和计算机设备。本申请提供的神经网络模型压缩方法，包括：针对待压缩神经网络模型的每一个原始卷积层，将原始卷积层分解为级联的多个目标卷积层；获取原始卷积层对输入数据进行卷积处理后的第一卷积处理结果，以及级联的多个目标卷积层依序对输入数据进行卷积处理后的第二卷积处理结果；根据第一卷积处理结果和第二卷积处理结果，对级联的多个目标卷积层的权值矩阵进行修正处理，得到压缩后的神经网络模型。本申请提供的神经网络模型压缩方法、装置和计算机设备，通过对该级联的多个目标卷积层的权值矩阵进行修正处理，这样，可避免因模型压缩导致的性能损失。
-
公开(公告)号：CN115620272A
公开(公告)日：2023-01-17
申请号：CN202211284811.X
申请日：2022-10-20
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种评估模型性能的方法、装置、计算机设备及可读存储介质。该评估模型性能的方法包括：获取由多个候选混合精度模型的比特配置，组成的候选比特配置集合，从候选比特配置集合中分离出候选比特配置子集，测试并记录候选比特配置子集中每个比特配置的量化性能；根据浮点模型的层数，将浮点模型划分为多个浮点优化单元,并确定候选比特配置集合中所有比特配置对应的混合精度模型相对多个浮点优化单元的输出损失；根据量化性能和输出损失，对多个候选的混合精度模型的性能进行预测评估。本发明解决了直接对量化所需的候选模型进行测试时导致的计算资源耗费大及效率低下的问题。
-
公开(公告)号：CN115618942A
公开(公告)日：2023-01-17
申请号：CN202211291646.0
申请日：2022-10-20
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种浮点模型的多精度量化方法及装置，该量化方法包括：获取给定浮点模型各计算层中的原始量化精度，并获取预先设置的量化函数；将多个原始量化精度中的其中一个原始量化精度作为基础量化精度，根据量化函数将基础量化精度对应的量化缩放系数确定为基础量化缩放系数；在基础量化精度的基础上获得各个原始量化精度对应的实际量化缩放系数；利用量化函数根据基础量化缩放系数或实际量化缩放系数，对各个原始量化精度进行优化处理，并在优化处理的过程中，采用已经优化的原始量化精度的优化精度对下一个未优化的原始量化精度进行优化处理。本发明解决了不同精度的参数优化过程没有关联、过大的优化空间导致时间消耗大的问题。
-
公开(公告)号：CN112329923A
公开(公告)日：2021-02-05
申请号：CN202011334592.2
申请日：2020-11-24
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种模型压缩方法、装置、电子设备及可读存储介质，该模型压缩方法包括：将待压缩模型划分为多个优化单元，其中，一个优化单元包括所述待压缩模型中连续的多个卷积层；对于任一优化单元，对该优化单元中各卷积层的参数进行量化，得到量化后的优化单元；分别对所述量化后的优化单元中各卷积层的参数进行优化，以使第一距离小于第二距离。该方法可以在保证模型性能和模型压缩效果的情况下，减少模型压缩消耗的时间和计算、存储资源。
-
Patent Agency Ranking
公开(公告)号：CN119807717A
公开(公告)日：2025-04-11
申请号：CN202510294166.7
申请日：2025-03-13
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F18/213 , G06N3/0455
Abstract: 本发明实施例提出注意力特征提取方法、装置和计算机可读存储介质。方法包括：根据待查询内容和参考内容，计算待查询内容对参考内容的定点注意力权重向量；将定点注意力权重向量的归一化结果表示成：浮点中间注意力权重向量除以浮点中间注意力权重向量的元素和；对浮点中间注意力权重向量、参考内容的浮点特征向量和浮点中间注意力权重向量的元素和分别进行量化处理；将定点中间注意力权重向量和参考内容的定点特征向量进行点乘后再除以浮点中间注意力权重向量的元素和的定点值，将得到的商向量的定点向量作为待查询内容的定点注意力特征向量。本发明实施例在不增加注意力特征提取复杂度的同时，降低注意力特征提取过程中的量化损失。
-
公开(公告)号：CN119227757A
公开(公告)日：2024-12-31
申请号：CN202411752106.7
申请日：2024-12-02
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/0495 , G06N3/08
Abstract: 本申请实施例提供了一种模型压缩方法、装置、电子设备、存储介质及产品，涉及深度学习技术领域，方法包括：针对同一输入数据，分别利用待压缩模型和量化模型进行处理；计算待压缩模型与量化模型的输出数据之间的差异，作为量化模型对应的第一差异；按照第一差异对待压缩模型中每一网络层的量化参数进行调整；基于每一网络层的最优量化参数计算该网络层的连续域量化位宽；从需要部署模型的硬件平台所支持的各离散域量化位宽中，确定大于该网络层的连续域量化位宽且与该网络层的连续域量化位宽的差值最小的离散域量化位宽；从利用多个稀疏度组合分别进行压缩得到的各备选压缩模型中，确定对应的第二差异最小的目标压缩模型。可以提高模型的适用性。
-
公开(公告)号：CN118839742A
公开(公告)日：2024-10-25
申请号：CN202411329970.6
申请日：2024-09-24
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082 , G06N3/0495 , G06N3/045
Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。
-
公开(公告)号：CN113128659B
公开(公告)日：2024-06-28
申请号：CN202010038017.1
申请日：2020-01-14
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种神经网络定点化方法、装置、电子设备及可读存储介质，该神经网络定点化方法包括：对于所述神经网络的待定化单元，基于所述神经网络的已定点化单元保持定点化状态的情况下该待定点化单元输出的特征值的数据分布，确定该待定点化单元输出的特征值的定点化超参；基于该定点化超参对该待定点化单元输出的特征值进行定点化。该方法可以提升神经网络定点化的性能。
-
公开(公告)号：CN113554169A
公开(公告)日：2021-10-26
申请号：CN202110859734.5
申请日：2021-07-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种模型优化方法、装置、电子设备及可读存储介质，该方法包括：对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对第一裁后模型的各层进行等比例扩充，并对扩充后的网络模型进行非稀疏约束训练；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；依据第二裁后模型，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.048 seconds)
