一种BERT中层归一化非线性函数的FPGA加速方法

    公开(公告)号:CN115965062A

    公开(公告)日:2023-04-14

    申请号:CN202211135447.0

    申请日:2022-09-19

    Applicant: 复旦大学

    Inventor: 曹家林 王堃

    Abstract: 本发明公开了一种BERT中层归一化非线性函数的FPGA加速方法,包括以下步骤:通过量化公式得到非对称量化公式和对称量化公式;运用所述非对称量化公式和所述对称量化公式,基于量化方法对层归一化操作模块进行处理,得到将浮点数运算转化为整数运算以及移位操作的算法;将所述算法部署到FPGA上。该发明用量化方法对层归一化模块进行处理,并部署到FPGA上,在保证精度损失可接受的前提下,对层归一化模块进行压缩和加速,最终提高整个BERT模型的运行速度。

Patent Agency Ranking