公开(公告)号：CN117217302A

公开(公告)日：2023-12-12

申请号：CN202311168525.1

申请日：2023-09-11

Applicant: 上海交通大学

Inventor： 郭鑫斐 ,  赵晓田 ,  徐如歌 ,  姜凯 ,  段强

IPC: G06N5/01 ,  G06N5/04 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/082

Abstract: 本发明提供了一种基于动态规划的多目标混合精度量化搜索方法及系统，包括：确定能够优化的位操作数量；对神经网络中所有层进行同一位宽的精度量化，进行训练感知量化，得到训练后的模型、基准推理精度和总操作数；并通过引入新的训练敏感度的指标，进一步扩大搜索空间，计算得到每一层不同位宽的精度损失、总操作数损失以及训练敏感度损失；按照顺序对位宽，对每一层神经网络和每个小于能够优化的位操作数量的值进行三层循环的遍历，并进行动态规划转移并记录遍历到每一层时的最小精度损失，以及进行状态转移的层，输出已被量化的层和量化精度，形成混合精度量化策略。本发明能够支持更多优化目标的多维混合精度搜索方法，提高搜索效率。

公开(公告)号：CN116611493A

公开(公告)日：2023-08-18

申请号：CN202310553723.3

申请日：2023-05-16

Applicant: 上海交通大学

Inventor： 郭鑫斐 ,  赵晓田

IPC: G06N3/08

Abstract: 本发明提供了一种基于贪心式搜索的硬件感知混合精度量化方法及系统，包括：对神经网络中的所有层进行同一位宽高精度量化，进行训练感知量化，获取训练模型、基准推理精度和总操作数；分别对神经网络中的每层进行单层低精度后训练量化，并记录每层对应的推理精度和对应的总操作数；根据所述基准推理精度和总操作数，以及所述每层对应的推理精度和对应的总操作数，计算单层敏感度；根据所述单层敏感度计算当前总操作数，直至到达预设的最大位操作数量，同时记录已被量化的层和量化精度，确定混合精度量化策略。本发明通过采用在在混合精度量化搜索中引入单层敏感度wi，在搜索前期采集该敏感度，从而实现兼顾硬件开销以及推理精度的优化量化策略。

公开(公告)号：CN117217302B

公开(公告)日：2024-06-07

申请号：CN202311168525.1

申请日：2023-09-11

Applicant: 上海交通大学

Inventor： 郭鑫斐 ,  赵晓田 ,  徐如歌 ,  姜凯 ,  段强

IPC: G06N5/01 ,  G06N5/04 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/082

Abstract: 本发明提供了一种基于动态规划的多目标混合精度量化搜索方法及系统，包括：确定能够优化的位操作数量；对神经网络中所有层进行同一位宽的精度量化，进行训练感知量化，得到训练后的模型、基准推理精度和总操作数；并通过引入新的训练敏感度的指标，进一步扩大搜索空间，计算得到每一层不同位宽的精度损失、总操作数损失以及训练敏感度损失；按照顺序对位宽，对每一层神经网络和每个小于能够优化的位操作数量的值进行三层循环的遍历，并进行动态规划转移并记录遍历到每一层时的最小精度损失，以及进行状态转移的层，输出已被量化的层和量化精度，形成混合精度量化策略。本发明能够支持更多优化目标的多维混合精度搜索方法，提高搜索效率。

公开(公告)号：CN116611493B

公开(公告)日：2024-06-07

申请号：CN202310553723.3

申请日：2023-05-16

Applicant: 上海交通大学

Inventor： 郭鑫斐 ,  赵晓田

IPC: G06N3/08

Abstract: 本发明提供了一种基于贪心式搜索的硬件感知混合精度量化方法及系统，包括：对神经网络中的所有层进行同一位宽高精度量化，进行训练感知量化，获取训练模型、基准推理精度和总操作数；分别对神经网络中的每层进行单层低精度后训练量化，并记录每层对应的推理精度和对应的总操作数；根据所述基准推理精度和总操作数，以及所述每层对应的推理精度和对应的总操作数，计算单层敏感度；根据所述单层敏感度计算当前总操作数，直至到达预设的最大位操作数量，同时记录已被量化的层和量化精度，确定混合精度量化策略。本发明通过采用在在混合精度量化搜索中引入单层敏感度wi，在搜索前期采集该敏感度，从而实现兼顾硬件开销以及推理精度的优化量化策略。