模型优化方法、装置及设备

    公开(公告)号:CN111767980A

    公开(公告)日:2020-10-13

    申请号:CN201910262674.1

    申请日:2019-04-02

    Inventor: 孟泽民 高其涛

    Abstract: 本发明实施例提供一种模型优化方法、装置及设备,本发明实施例在确定深度学习量化模型的目标网络层存在溢出风险时,确定目标网络层中卷积核的系数矩阵的分组临界点,并按照所述分组临界点对所述目标网络层进行处理,以使处理后的目标网络层的每一卷积核的系数矩阵执行卷积运算过程中产生的中间结果在寄存器中存储时不超出寄存器允许存储的范围,从而确保平台正确、高效地运行优化后的量化模型。

    溢出风险检测方法、装置及设备

    公开(公告)号:CN111767204A

    公开(公告)日:2020-10-13

    申请号:CN201910262645.5

    申请日:2019-04-02

    Abstract: 本发明实施例提供一种溢出风险检测方法、装置及设备,本发明实施例从深度学习量化模型的待检测网络层中获得卷积核,确定中间结果的极端值,由于中间结果的极端值是在利用待检测网络层输入数据的极端值与获得的卷积核进行卷积运算过程中产生的中间结果的极端值,因此,可以通过将中间结果的极端值与寄存器允许存储的数值范围进行比较,在中间结果的极端值超出寄存器允许存储的数值范围的情况下,判定待检测网络层存在溢出风险,从而实现对深度学习量化模型的溢出风险检测。

    基于图像串联模型的图像检测方法、装置、设备及介质

    公开(公告)号:CN119380122B

    公开(公告)日:2025-04-01

    申请号:CN202411975405.7

    申请日:2024-12-30

    Abstract: 本申请实施例提供了基于图像串联模型的图像检测方法、装置、设备及介质,将样本图像输入图像串联模型进行检测,得到第一模型的输出结果及第二模型的检测结果,根据第一模型的输出结果计算第一模型的输出熵,基于第一模型的输出熵以及第二模型的检测结果更新第一模型的置信度阈值,基于更新后的图像串联模型进行图像检测。第一模型的置信度阈值是基于第一模型的输出熵以及第二模型的检测结果动态调整的,可以提高第一模型输出的稳定性,因为第二模型的输出结果受到第二模型的输出影响,提高了第一模型输出的稳定性,可以提高图像串联模型最终的检出效果。

    溢出风险检测方法、装置及设备

    公开(公告)号:CN111767204B

    公开(公告)日:2024-05-28

    申请号:CN201910262645.5

    申请日:2019-04-02

    Abstract: 本发明实施例提供一种溢出风险检测方法、装置及设备,本发明实施例从深度学习量化模型的待检测网络层中获得卷积核,确定中间结果的极端值,由于中间结果的极端值是在利用待检测网络层输入数据的极端值与获得的卷积核进行卷积运算过程中产生的中间结果的极端值,因此,可以通过将中间结果的极端值与寄存器允许存储的数值范围进行比较,在中间结果的极端值超出寄存器允许存储的数值范围的情况下,判定待检测网络层存在溢出风险,从而实现对深度学习量化模型的溢出风险检测。

    网络模型量化、推理方法、装置、电子设备及存储介质

    公开(公告)号:CN113780513B

    公开(公告)日:2024-05-03

    申请号:CN202010521761.7

    申请日:2020-06-10

    Inventor: 孟泽民

    Abstract: 本申请实施例提供了一种网络模型量化、推理方法、装置、电子设备及存储介质,涉及深度学习技术领域。方法包括:获得待量化网络模型;在沿所述待量化网络模型的数据处理流向对所述待量化网络模型进行量化的过程中,判断当前处理对象是否为量化中间层;若为是,以量化中间层参数中输出量化方式标识所指示的输出量化方式,对沿所述数据处理流向的下一网络子图进行量化;若为否,以模型推理平台支持的量化方式对该当前处理对象进行量化。由此可见,应用本申请实施例提供的方案,能够提高对量化后的模型进行模型推理时的效率。

    应用部署方法、装置、设备及存储介质

    公开(公告)号:CN117762426A

    公开(公告)日:2024-03-26

    申请号:CN202311789189.2

    申请日:2023-12-22

    Abstract: 本申请公开一种应用部署方法、装置、设备及存储介质,该方法包括:确定第一语言开发的待部署应用,调用以第一语言开发的对应预设仿真接口,运行所述待部署应用的至少第一部分功能,并得到运行结果;所述预设仿真接口的功能与第二设备中相应接口的功能相同,所述第二设备中运行基于相应第二语言开发的接口运行以第二语言开发的应用;若相应运行结果满足预设验证效果要求,对所述待部署应用进行转换,并将转换后的所述待部署应用部署至所述第二设备中,其中,对所述待部署应用进行转换包括将待部署应用转换为可以在第二设备中运行的应用以及将该应用的代码转变为第二语言编写的代码。本申请解决相关技术中,难以满足实际应用需求的技术问题。

    模型优化方法、装置及设备

    公开(公告)号:CN111767980B

    公开(公告)日:2024-03-05

    申请号:CN201910262674.1

    申请日:2019-04-02

    Inventor: 孟泽民 高其涛

    Abstract: 本发明实施例提供一种模型优化方法、装置及设备,本发明实施例在确定深度学习量化模型的目标网络层存在溢出风险时,确定目标网络层中卷积核的系数矩阵的分组临界点,并按照所述分组临界点对所述目标网络层进行处理,以使处理后的目标网络层的每一卷积核的系数矩阵执行卷积运算过程中产生的中间结果在寄存器中存储时不超出寄存器允许存储的范围,从而确保平台正确、高效地运行优化后的量化模型。

    一种模型部署方法、装置及推理系统

    公开(公告)号:CN117331572A

    公开(公告)日:2024-01-02

    申请号:CN202311309940.4

    申请日:2023-10-08

    Abstract: 本申请实施例提供了一种模型部署方法、装置及推理系统。其中,所述方法包括:获取用于表示原始模型的推理过程的原始推理语法树;并获取用于表示额外处理过程的原始处理语法树;生成所描述的过程与原始推理语法树等效、且所描述的过程包括的运算均为目标平台支持的运算的目标推理语法树,并生成所描述的过程与原始处理语法树等效、且所描述的过程包括的运算均为目标平台支持的运算的目标处理语法树;拼接目标推理语法树和目标处理语法树,得到拼接语法树;根据拼接语法树,生成用于实现拼接语法树所描述的过程的目标代码;将目标代码部署于目标平台,以使得目标平台通过执行目标代码实现额外处理过程和推理过程。可以有效提高模型部署效率。

    一种数据筛选方法及装置
    19.
    发明公开

    公开(公告)号:CN115170838A

    公开(公告)日:2022-10-11

    申请号:CN202210809919.X

    申请日:2022-07-11

    Abstract: 本申请实施例提供了一种数据筛选方法及装置,该方法包括:获取第一样本图像集,第一样本图像集包括多个第一样本图像;将多个第一样本图像分别输入待精简模型,得到每个第一样本图像的预测结果;根据每个第一样本图像的预测结果以及该第一样本图像的标注结果,确定每个第一样本图像的决策距离;根据每个第一样本图像的决策距离,筛选出待精简模型表现最差的第一预设数量个第一样本图像。应用本申请实施例提供的技术方案,能够筛选出对模型精简具有指导作用的图像数据,提高图像数据筛选的准确性。

    网络模型量化、推理方法、装置、电子设备及存储介质

    公开(公告)号:CN113780513A

    公开(公告)日:2021-12-10

    申请号:CN202010521761.7

    申请日:2020-06-10

    Inventor: 孟泽民

    Abstract: 本申请实施例提供了一种网络模型量化、推理方法、装置、电子设备及存储介质,涉及深度学习技术领域。方法包括:获得待量化网络模型;在沿所述待量化网络模型的数据处理流向对所述待量化网络模型进行量化的过程中,判断当前处理对象是否为量化中间层;若为是,以量化中间层参数中输出量化方式标识所指示的输出量化方式,对沿所述数据处理流向的下一网络子图进行量化;若为否,以模型推理平台支持的量化方式对该当前处理对象进行量化。由此可见,应用本申请实施例提供的方案,能够提高对量化后的模型进行模型推理时的效率。

Patent Agency Ranking