公开(公告)号：CN119476381A

公开(公告)日：2025-02-18

申请号：CN202411490368.0

申请日：2024-10-24

Applicant: 南京大学

Inventor： 李丽 ,  徐勤凯 ,  傅玉祥 ,  刘亦锦 ,  陈铠 ,  何国强 ,  李伟 ,  何书专

IPC: G06N3/063 ,  G06N3/084 ,  G06N3/098 ,  G06F18/2433

Abstract: 本发明公开了一种基于可学习阈值的异常值感知低精度训练硬件系统，属于神经网络训练领域，旨在解决在边缘计算设备上进行深度神经网络训练时，如何在保证量化精度的同时有效处理异常值的问题。其包括通过在线更新异常值的阈值提高模型量化性能，具体包括以下步骤：配置异常值阈值实时监测和识别输入的计算数据中的异常值，并根据识别结果对计算数据进行感知量化；对感知量化后的计算数据进行数据转换，并进行数据编码，根据数据编码结果确定计算场景；基于计算场景分配计算任务至处理单元簇中；通过梯度下降算法计算异常值梯度，并进行可学习的异常值阈值更新；在网络训练完成后，进行性能评估，并将结果进行整理和输出。