-
公开(公告)号：CN118551848A
公开(公告)日：2024-08-27
申请号：CN202411017271.8
申请日：2024-07-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N5/04 , G06N3/045 , G06N3/0495 , G06N3/0464 , G06N3/044 , G06N3/048
Abstract: 本申请公开了基于softmax的神经网络模型的推理方法和装置，包括：人工智能芯片利用所述神经网络模型，对所述神经网络模型的输入数据进行推理，直到确定出所述softmax算子的输入特征；中央处理器或向量处理器对所述输入特征以行为单位进行稀疏化处理，并利用softmax算子对稀疏化处理后的输入特征进行处理；人工智能芯片基于softmax算子处理后的输出结果完成所述神经网络模型的推理，以此类推直至确定所述神经网络模型的输出。应用本申请，能够有效提高模型推理速度，并保证模型推理效果。
-
Patent Agency Ranking
公开(公告)号：CN118551848B
公开(公告)日：2024-12-03
申请号：CN202411017271.8
申请日：2024-07-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N5/04 , G06N3/045 , G06N3/0495 , G06N3/0464 , G06N3/044 , G06N3/048
Abstract: 本申请公开了基于softmax的神经网络模型的推理方法和装置，包括：人工智能芯片利用所述神经网络模型，对所述神经网络模型的输入数据进行推理，直到确定出所述softmax算子的输入特征；中央处理器或向量处理器对所述输入特征以行为单位进行稀疏化处理，并利用softmax算子对稀疏化处理后的输入特征进行处理；人工智能芯片基于softmax算子处理后的输出结果完成所述神经网络模型的推理，以此类推直至确定所述神经网络模型的输出。应用本申请，能够有效提高模型推理速度，并保证模型推理效果。
-
公开(公告)号：CN118247515A
公开(公告)日：2024-06-25
申请号：CN202410335222.2
申请日：2024-03-21
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06V10/40 , G06V10/44 , G06V10/94 , G06V20/62 , G06V30/18 , G06V30/19 , G06V40/10 , G06V40/20 , G06V10/82 , G06N3/048 , G06N3/0499
Abstract: 本申请提供一种动态稀疏方法、智能分析方法、装置、设备及存储介质，该方法包括：获取目标神经网络模型的softmax算子的输入特征；对所述输入特征在计算维度上进行最大值对齐处理，得到处理后的特征；确定所述处理后的特征中的待稀疏元素，并对所确定的待稀疏元素进行稀疏处理，得到稀疏后的特征；基于所述稀疏后的特征，继续进行softmax处理，得到softmax处理结果。该方法可以减少硬件平台利用神经网络执行智能分析任务的资源消耗，并提高处理效率。
-
公开(公告)号：CN115860068A
公开(公告)日：2023-03-28
申请号：CN202211186183.1
申请日：2022-09-27
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种基于模型量化的任务处理方法、装置、设备及存储介质，该基于模型量化的任务处理方法包括：依据Transformer模型中优化单元的第一量化输出和第一浮点输出之间的差异，对优化单元的权重量化系数和激活量化系数进行更新；依据优化单元的第二量化输出和第二浮点输出之间的差异，对优化单元的权重量化增量进行更新；依据目标量化系数对优化单元的权重参数进行量化，并依据目标权重量化增量确定优化单元的权重量化取整方向；依据优化单元的目标量化权重参数对优化单元的输入数据进行前向推理计算，并依据优化单元的目标激活量化系数对优化单元的输入/输出进行量化。该方法可以提升任务处理的准确性。
-
公开(公告)号：CN119647530A
公开(公告)日：2025-03-18
申请号：CN202411708331.0
申请日：2022-09-27
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请提供一种基于模型量化的任务处理方法、装置、设备及存储介质，该基于模型量化的任务处理方法包括：依据Transformer模型中优化单元的第一量化输出和第一浮点输出之间的差异，对优化单元的权重量化系数和激活量化系数进行更新；依据优化单元的第二量化输出和第二浮点输出之间的差异，对优化单元的权重量化增量进行更新；依据目标量化系数对优化单元的权重参数进行量化，并依据目标权重量化增量确定优化单元的权重量化取整方向；依据优化单元的目标量化权重参数对优化单元的输入数据进行前向推理计算，并依据优化单元的目标激活量化系数对优化单元的输入/输出进行量化。该方法可以提升任务处理的准确性。
-
公开(公告)号：CN119358691A
公开(公告)日：2025-01-24
申请号：CN202411909532.7
申请日：2024-12-24
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请公开了一种基于大模型的推理方法及相关设备，涉及人工智能技术领域，包括：响应于推理指令，获取场景图片数据，基于预设大语言模型相应粒度的量化方式，对所述场景图片数据执行量化操作，得到目标图像数据，基于更改部署方式后的所述预设大语言模型的推理量化流程，对所述目标图像数据进行推理量化，得到推理量化结果，其中，所述更改部署方式后所对应的推理量化流程比更改部署方式前推理量化流程的计算量更小。本申请使用计算量更小的推理量化流程所对应的部署方式部署预设大语言模型，减少推理量化过程中的计算量，提高推理效率。
-
-
-
-
-
Search Results
6
records
(took 0.026 seconds)
