-
公开(公告)号:CN119358691A
公开(公告)日:2025-01-24
申请号:CN202411909532.7
申请日:2024-12-24
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请公开了一种基于大模型的推理方法及相关设备,涉及人工智能技术领域,包括:响应于推理指令,获取场景图片数据,基于预设大语言模型相应粒度的量化方式,对所述场景图片数据执行量化操作,得到目标图像数据,基于更改部署方式后的所述预设大语言模型的推理量化流程,对所述目标图像数据进行推理量化,得到推理量化结果,其中,所述更改部署方式后所对应的推理量化流程比更改部署方式前推理量化流程的计算量更小。本申请使用计算量更小的推理量化流程所对应的部署方式部署预设大语言模型,减少推理量化过程中的计算量,提高推理效率。
-
公开(公告)号:CN119316617A
公开(公告)日:2025-01-14
申请号:CN202310856767.3
申请日:2023-07-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04N19/91 , H04N19/124 , H04N19/176 , H04N19/42 , H04N19/44
Abstract: 本申请提供一种解码方法、装置及其设备,该方法包括:从当前图像块对应的码流中解码当前图像块对应的目标特征;基于目标特征确定目标解码网络的第一输入特征;获取目标解码网络的目标特征值量化位宽和目标特征值量化超参,基于目标特征值量化位宽和目标特征值量化超参将第一输入特征转换为第二输入特征;基于目标解码网络的定点型权重对第二输入特征进行处理,得到目标解码网络的输出特征;其中,定点型权重是基于目标权重量化位宽和目标权重量化超参确定;基于目标解码网络的输出特征确定当前图像块对应的重建图像块。通过本申请技术方案,能够在保证解码质量的前提下,降低解码计算量。
-
公开(公告)号:CN119312864A
公开(公告)日:2025-01-14
申请号:CN202310871579.8
申请日:2023-07-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/082 , G06N3/0495
Abstract: 本申请属于模型量化技术领域,公开了一种模型量化方法、装置、设备及存储介质。本申请通过获取待量化解码模型中各模型层对应的性能偏差;根据各模型层对应的性能偏差构建分层量化序列;基于分层量化序列对待量化解码模型中的模型层进行分层量化处理。由于会根据待量化解码模型中各模型层对应的性能偏差构建分层量化序列,并依据分层量化序列的序列顺序对待量化解码模型中各模型层分别进行分层量化处理,在处理过程中量化之后会利用调参修正,以尽可能降低模型因低比特量化产生的性能损失。
-
公开(公告)号:CN118839167B
公开(公告)日:2024-12-31
申请号:CN202411316530.7
申请日:2024-09-20
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F18/214 , G06F18/241 , G06N3/096 , G06N3/045 , G06N3/0464 , G06N3/0455
Abstract: 本申请实施例提供了一种数据生成、模型蒸馏方法、装置、电子设备及存储介质,涉及计算机技术领域,该方法包括:获取第一训练数据,并获取第一分组对应的第一语义描述集合,第一语义描述集合包括第一分组中的训练数据对应的多个语义描述;从第一语义描述集合中,选择多个第一语义描述;根据第一训练数据、第一分组的标识和多个第一语义描述,确定数据生成条件;将数据生成条件输入生成模型,得到第二训练数据。该方法能够在较快的速度、较低的成本下获得多样化数据,解决学生模型蒸馏中过拟合和泛化性差的问题。
-
公开(公告)号:CN118747514A
公开(公告)日:2024-10-08
申请号:CN202411222893.4
申请日:2024-09-02
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/0495 , G06N3/082 , G06T9/00
Abstract: 本申请实施例提供了大规模预训练模型压缩及图像数据处理方法、装置,按照训练后的大规模预训练模型的权重、预设稀疏度及预设秩构建权重约束条件、稀疏度约束条件和秩约束条件,利用构建的上述权重约束条件、稀疏度约束条件和秩约束条件将权重压缩为低秩部分及非结构化稀疏部分,得到压缩后的大规模预训练模型。通过联合非结构化稀疏和低秩分解方法对大规模预训练模型权重进行压缩,减少了压缩的计算量,提高了模型压缩率。
-
公开(公告)号:CN118247442A
公开(公告)日:2024-06-25
申请号:CN202410667307.0
申请日:2024-05-24
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种神经辐射场重建模型生成方法、装置、设备、介质及产品,涉及三维重建技术领域,方法包括:获取图像采集设备在每一预设位姿下采集的待重建对象的原始RGB图像和深度图像;对每一预设位姿进行调整,得到该预设位姿对应的虚拟位姿;针对每一虚拟位姿,基于得到该虚拟位姿所利用的预设位姿对应的原始RGB图像和深度图像生成三维点云,并将生成的三维点云投影至图像采集设备在该虚拟位姿下的图像平面,得到该虚拟位姿对应的伪RGB图像;利用得到的伪RGB图像和对应的虚拟位姿,以及原始RGB图像和对应的预设位姿,构建表示待重建对象的神经辐射场重建模型。如此,可以提高得到的神经辐射场重建模型的准确度。
-
公开(公告)号:CN112308216B
公开(公告)日:2024-06-18
申请号:CN201910683930.4
申请日:2019-07-26
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 李哲暘
IPC: G06N3/063 , G06N3/0464
Abstract: 本申请公开了一种数据块的处理方法、装置及存储介质,属于机器学习技术领域。该方法包括:通过神经网络模型中元素级操作层,获取上一级网络层输入的数据类型为定点型数据的多个数据块,获取每个数据块的各个通道对应的补偿系数,基于多个数据块中每个数据块的各个通道对应的补偿系数,将多个数据块转换成多个补偿数据块,多个补偿数据块中的数据均为定点型数据且数据精度相同,对多个补偿数据块进行元素级操作,得到元素级操作结果。本申请中的元素级操作层可以对定点型数据进行处理,而且通过为每个数据块的各个通道设置补偿系数,将各个数据块的数据精度调整一致,补偿了数据精度差异带来误差,提高了定点化网络的计算精度。
-
公开(公告)号:CN112884123B
公开(公告)日:2024-03-01
申请号:CN202110204808.1
申请日:2021-02-23
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本申请提供一种神经网络优化方法、装置、电子设备及可读存储介质,该神经网络优化方法包括:对待优化神经网络进行子网划分,并依据预设融合规则以及融合目标分别对各子网进行网络层layer融合,得到各子网的最优融合结果;依据各子网的最优融合结果、所述预设融合规则以及融合目标,对所述待优化神经网络进行layer融合,得到所述待优化神经网络的最优融合结果。该方法可以在保证得到满足预设融合规则以及融合目标的情况下的最优融合结果的情况下,提高确定待优化神经网络的最优融合结果的效率。
-
公开(公告)号:CN115526310A
公开(公告)日:2022-12-27
申请号:CN202211177115.9
申请日:2022-09-26
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种网络模型的量化方法、装置及设备,该方法包括:将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征;基于超参组合确定第一精度浮点型参数值对应的第二精度浮点型参数值、第一精度浮点型输入特征对应的第二精度浮点型输入特征;确定待量化网络层对应的量化后网络层,量化后网络层采用第二精度浮点型参数值;将第二精度浮点型输入特征输入给量化后网络层得到超参组合对应的第二输出特征;基于第一输出特征与每个超参组合对应的第二输出特征的相似度,将最大相似度对应的超参组合对应的第二精度浮点型参数值更新为待量化网络层的目标参数值,得到待量化网络层对应的目标网络层。通过本申请方案,节省存储资源和计算资源。
-
公开(公告)号:CN113537377A
公开(公告)日:2021-10-22
申请号:CN202110859748.7
申请日:2021-07-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质,该方法包括:对原始网络模型进行稀疏约束训练;依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数‑优化目标量曲线,直至统计得到的裁剪参数‑优化目标量曲线满足预设停止规则;依据所述N1条裁剪参数‑优化目标量曲线,以及预设裁后优化目标量,确定第一目标裁剪参数;依据所述第一目标裁剪参数确定各层的裁剪比例;依据各层的裁剪比例,对所述原始网络模型进行变权重稀疏约束训练,得到原始网络模型对应的稀疏模型,并依据各层的裁剪比例对所述稀疏模型进行裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
-
-
-
-
-
-
-
-
-