-
公开(公告)号：CN119227770B
公开(公告)日：2025-04-08
申请号：CN202411755976.X
申请日：2024-12-03
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082
Abstract: 本申请涉及模型部署技术领域，公开了多模态大语言模型量化方法、装置、设备、存储介质及产品，包括：将待量化大模型划分为多模态处理分块以及语言模型分块；根据多模态处理分块中各处理子模块对应的量化误差构建处理子模块序列；基于处理子模块序列对多模态处理分块中各处理子模块分别进行量化；根据量化后的所述多模态处理分块确定语言子模块序列；依据语言子模块序列对所述语言模型分块中各语言子模块分别进行量化。由于可依据多模态语言大模型的计算特性进行针对性的模块划分，并基于模块划分顺序进行量化调整，确保量化符合模型的实际计算特性，提升了对多模态语言大模型进行量化部署的效果。
-
公开(公告)号：CN119316617A
公开(公告)日：2025-01-14
申请号：CN202310856767.3
申请日：2023-07-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04N19/91 , H04N19/124 , H04N19/176 , H04N19/42 , H04N19/44
Abstract: 本申请提供一种解码方法、装置及其设备，该方法包括：从当前图像块对应的码流中解码当前图像块对应的目标特征；基于目标特征确定目标解码网络的第一输入特征；获取目标解码网络的目标特征值量化位宽和目标特征值量化超参，基于目标特征值量化位宽和目标特征值量化超参将第一输入特征转换为第二输入特征；基于目标解码网络的定点型权重对第二输入特征进行处理，得到目标解码网络的输出特征；其中，定点型权重是基于目标权重量化位宽和目标权重量化超参确定；基于目标解码网络的输出特征确定当前图像块对应的重建图像块。通过本申请技术方案，能够在保证解码质量的前提下，降低解码计算量。
-
公开(公告)号：CN119312864A
公开(公告)日：2025-01-14
申请号：CN202310871579.8
申请日：2023-07-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082 , G06N3/0495
Abstract: 本申请属于模型量化技术领域，公开了一种模型量化方法、装置、设备及存储介质。本申请通过获取待量化解码模型中各模型层对应的性能偏差；根据各模型层对应的性能偏差构建分层量化序列；基于分层量化序列对待量化解码模型中的模型层进行分层量化处理。由于会根据待量化解码模型中各模型层对应的性能偏差构建分层量化序列，并依据分层量化序列的序列顺序对待量化解码模型中各模型层分别进行分层量化处理，在处理过程中量化之后会利用调参修正，以尽可能降低模型因低比特量化产生的性能损失。
-
公开(公告)号：CN115526310A
公开(公告)日：2022-12-27
申请号：CN202211177115.9
申请日：2022-09-26
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种网络模型的量化方法、装置及设备，该方法包括：将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征；基于超参组合确定第一精度浮点型参数值对应的第二精度浮点型参数值、第一精度浮点型输入特征对应的第二精度浮点型输入特征；确定待量化网络层对应的量化后网络层，量化后网络层采用第二精度浮点型参数值；将第二精度浮点型输入特征输入给量化后网络层得到超参组合对应的第二输出特征；基于第一输出特征与每个超参组合对应的第二输出特征的相似度，将最大相似度对应的超参组合对应的第二精度浮点型参数值更新为待量化网络层的目标参数值，得到待量化网络层对应的目标网络层。通过本申请方案，节省存储资源和计算资源。
-
公开(公告)号：CN113537377A
公开(公告)日：2021-10-22
申请号：CN202110859748.7
申请日：2021-07-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质，该方法包括：对原始网络模型进行稀疏约束训练；依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数‑优化目标量曲线，直至统计得到的裁剪参数‑优化目标量曲线满足预设停止规则；依据所述N1条裁剪参数‑优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；依据所述第一目标裁剪参数确定各层的裁剪比例；依据各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并依据各层的裁剪比例对所述稀疏模型进行裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
-
Patent Agency Ranking
公开(公告)号：CN110874636A
公开(公告)日：2020-03-10
申请号：CN201811027522.5
申请日：2018-09-04
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种神经网络模型压缩方法、装置和计算机设备。本申请提供的神经网络模型压缩方法，包括：针对待压缩神经网络模型的每一个原始卷积层，将原始卷积层分解为级联的多个目标卷积层；获取原始卷积层对输入数据进行卷积处理后的第一卷积处理结果，以及级联的多个目标卷积层依序对输入数据进行卷积处理后的第二卷积处理结果；根据第一卷积处理结果和第二卷积处理结果，对级联的多个目标卷积层的权值矩阵进行修正处理，得到压缩后的神经网络模型。本申请提供的神经网络模型压缩方法、装置和计算机设备，通过对该级联的多个目标卷积层的权值矩阵进行修正处理，这样，可避免因模型压缩导致的性能损失。
-
公开(公告)号：CN119337045B
公开(公告)日：2025-04-01
申请号：CN202411873806.1
申请日：2024-12-18
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/16 , G06F17/11 , G06F18/214
Abstract: 本申请实施例提供了一种模型量化方法、装置、电子设备及存储介质，涉及深度学习技术领域。方法包括：获取原始模型中待量化网络层的待量化权重矩阵；将待量化权重矩阵中各权重分为多个权重组；计算各权重组对应的第一模型损失；按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组；以当前待处理的权重组对应的第二模型损失最小为优化目标，基于目标量化格式确定当前待处理的权重组的目标量化结果；按照对应的第一模型损失从大到小的顺序确定当前待处理的权重组，直至得到各权重组的目标量化结果；基于各权重组的目标量化结果得到量化后的目标模型。如此可以对原始模型进行量化，且量化后的目标模型的模型损失较小。
-
公开(公告)号：CN119450084A
公开(公告)日：2025-02-14
申请号：CN202411932643.X
申请日：2023-07-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04N19/91 , H04N19/124 , H04N19/176 , H04N19/42 , H04N19/44
Abstract: 本申请提供一种解码方法、装置及其设备，该方法包括：从当前图像块对应的码流中解码当前图像块对应的目标特征；基于目标特征确定目标解码网络的第一输入特征；获取目标解码网络的目标特征值量化位宽和目标特征值量化超参，基于目标特征值量化位宽和目标特征值量化超参将第一输入特征转换为第二输入特征；基于目标解码网络的定点型权重对第二输入特征进行处理，得到目标解码网络的输出特征；其中，定点型权重是基于目标权重量化位宽和目标权重量化超参确定；基于目标解码网络的输出特征确定当前图像块对应的重建图像块。通过本申请技术方案，能够在保证解码质量的前提下，降低解码计算量。
-
公开(公告)号：CN117313860A
公开(公告)日：2023-12-29
申请号：CN202311250479.X
申请日：2023-09-26
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种数据推理的方法、装置、设备及介质，在对目标浮点数据进行推理时，对各个量化后的注意力权重再次进行了归一化处理，降低了推理过程中由注意力权重引起的误差，进一步的用该归一化因子调整输出定点数据特征实现了特征校正，得到目标定点数据特征，使得基于目标定点数据特征得到的推理结果更加准确，提高了数据推理的准确性。并且在推理过程中，不需要定制硬件，从而降低了数据推理的成本，提高了数据推理的效率。
-
公开(公告)号：CN113554169B
公开(公告)日：2023-10-27
申请号：CN202110859734.5
申请日：2021-07-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种模型优化方法、装置、电子设备及可读存储介质，该方法包括：对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对第一裁后模型的各层进行等比例扩充，并对扩充后的网络模型进行非稀疏约束训练；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；依据第二裁后模型，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.039 seconds)
