一种用于神经网络模型量化的混合舍入方法

    公开(公告)号:CN116702862A

    公开(公告)日:2023-09-05

    申请号:CN202310920944.X

    申请日:2023-07-25

    Applicant: 湖南大学

    Abstract: 本发明公开了一种用于神经网络模型量化的混合舍入方法,包括获取训练好的神经网络模型权重参数;对模型权重参数进行缩放处理;在预设范围内随机设定舍入阈值,根据设定的舍入阈值将缩放后的模型权重参数中的小数部分划分为三个区域;若缩放后的模型权重参数中的小数部分位于R1和R3区域中,执行最近邻舍入,若小数部分位于R2区域,执行交替舍入;在预设范围内按照预设距离遍历舍入阈值,得到每一设定的舍入阈值对应的量化模型参数;评估每一设定的舍入阈值舍入后的对应的量化后模型的准确率,选取最高准确率对应的舍入阈值作为最终的舍入阈值,将对应的混合舍入后的量化模型参数作为最终的量化模型参数。有效提升量化模型的准确率。

    一种基于医药高光谱检测网络的阈值感知低位量化方法

    公开(公告)号:CN115700806A

    公开(公告)日:2023-02-07

    申请号:CN202211519885.7

    申请日:2022-11-30

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于医药高光谱检测网络的阈值感知低位量化方法,首先使用高光谱相机采集药品图像得到数据集;其次设计合适的神经网络进行训练,保存模型准确率最高的训练参数,同时调整网络结构;再次,对调整后的神经网络进行量化处理,对网络权重使用基于最小均方差搜索的逐通道对称量化,对网络激活值使用基于最小KL散度搜索的逐层非对称量化;然后使用量化后的权重对调整后的神经网络进行微调训练,保存模型准确率最高的微调参数;最后,使用微调后的网络模型,重构整型网络架构,进行整型卷积,输出检测结果。在高光谱医药检测神经网络上,实现了4位量化,大幅减少了计算复杂度和存储量,同时检测准确率仅有轻微下降。

Patent Agency Ranking