公开(公告)号：CN116126337A

公开(公告)日：2023-05-16

申请号：CN202211599032.9

申请日：2022-12-12

Applicant: 复旦大学

Inventor： 周昊 ,  王堃

IPC: G06F8/41 ,  G06F8/35 ,  G06N3/084 ,  G06F17/15

Abstract: 本发明公开了一种Transformer编译器中的非线性函数量化方法。本发明采用量化的方法对transformer的及其衍生模型进行量化压缩，通过量化感知训练（QAT）的方法得到量化权重和量化参数。在量化过程中，使用分段线性近似的方法计算非线性函数。在分段边界的确定上，同样采用QAT的方法，将非线性函数的线性近似函数表示为可微分的函数，使其参与到QAT的反向传播中，从而得到最优的分段边界组合。本发明可以应用在BERT模型的多平台部署上，尤其适用于FPGA这种适用于规则计算的部署平台。在量化过程中使用本发明的方法，可以提高硬件效率并最大程度保留精度。

公开(公告)号：CN115545177A

公开(公告)日：2022-12-30

申请号：CN202211135583.X

申请日：2022-09-19

Applicant: 复旦大学

Inventor： 周昊 ,  王堃

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于FPGA的Transformer硬件加速器；其包括数据预处理模块、计算单元和控制器；计算单元包括矩阵处理单元和非线性处理单元；非线性处理单元包括激活函数单元、层标准化模块和Softmax模块；数据预处理模块部署在CPU上，控制器和计算单元部署在FPGA上，数据预处理模块对需要处理的文本进行预处理，转化为整数序列输入到FPGA中，数据在计算单元中经过控制器的调度完成计算过程，最终得到输出结果。本发明在计算时只需要使用更少的逻辑资源，就可以在更短的时间内得到结果，同时不影响最终的计算精度。