公开(公告)号：CN117593624A

公开(公告)日：2024-02-23

申请号：CN202311523725.4

申请日：2023-11-14

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨子伟 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06V10/82 ,  G06N3/045 ,  G06N20/00 ,  G06V10/44

Abstract: 本申请公开一种检测模型蒸馏方法、目标检测方法、装置及电子设备，涉及机器学习技术领域，用于训练出精度更高的学生模型，得到更好的目标检测结果。该方法包括：将样本图像分别输入教师模型和学生模型，从教师模型对样本图像进行处理后输出的识别结果中筛选出教师正样本识别结果；对于每个教师正样本识别结果，从学生模型对样本图像进行处理后预设的多个锚框中确定与教师正样本识别结果匹配的目标锚框；对每对相匹配的教师正样本识别结果和目标锚框进行逻辑输出蒸馏，得到逻辑输出蒸馏损失；基于识别结果真值，确定检测任务损失；基于逻辑输出蒸馏损失，以及检测任务损失，对学生模型进行训练，得到训练后的学生模型。

公开(公告)号：CN118839742B

公开(公告)日：2024-12-20

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。

公开(公告)号：CN113869491A

公开(公告)日：2021-12-31

申请号：CN202111075279.6

申请日：2021-09-14

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  彭博 ,  杨子伟 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/04 ,  G06N3/08

Abstract: 本申请提供一种网络模型确定方法、装置、电子设备及可读存储介质，该方法包括：依据预设搜索空间构建超网络；依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特。该方法可以在优化所确定的最终网络模型的性能的情况下，减少搜索空间，提高搜索效率。

公开(公告)号：CN115526310A

公开(公告)日：2022-12-27

申请号：CN202211177115.9

申请日：2022-09-26

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/08 ,  G06N3/04

Abstract: 本申请提供一种网络模型的量化方法、装置及设备，该方法包括：将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征；基于超参组合确定第一精度浮点型参数值对应的第二精度浮点型参数值、第一精度浮点型输入特征对应的第二精度浮点型输入特征；确定待量化网络层对应的量化后网络层，量化后网络层采用第二精度浮点型参数值；将第二精度浮点型输入特征输入给量化后网络层得到超参组合对应的第二输出特征；基于第一输出特征与每个超参组合对应的第二输出特征的相似度，将最大相似度对应的超参组合对应的第二精度浮点型参数值更新为待量化网络层的目标参数值，得到待量化网络层对应的目标网络层。通过本申请方案，节省存储资源和计算资源。

公开(公告)号：CN118839742A

公开(公告)日：2024-10-25

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。