公开(公告)号：CN115034373B

公开(公告)日：2024-11-05

申请号：CN202210601059.0

申请日：2022-05-30

Applicant: 清华大学

Inventor： 张春 ,  张惟宜 ,  牛丽婷 ,  姜汉钧

IPC: G06N3/063 ,  G06N3/084

Abstract: 本发明公开了一种Adam算法加速系统及方法，该系统包括：一阶矩估计子系统，用于根据上轮一阶矩与本轮梯度，计算本轮一阶矩；二阶矩平方根估计子系统，用于根据上轮二阶矩平方根与本轮梯度，计算本轮二阶矩平方根；更新步计算子系统包括：平方根倒数计算模块，用于采用快速平方根倒数算法，根据本轮二阶矩平方根，计算平方根倒数；第一乘法器，用于对本轮一阶矩与平方根倒数进行乘法计算；第二乘法器，用于将第一乘法器的输出与平方根倒数进行乘法计算，获得本轮更新步，所述本轮更新步用于在硬件中训练神经网络，更新网络参数。本发明可以实现在硬件中训练神经网络时进行Adam算法加速，提高吞吐率。

公开(公告)号：CN115034373A

公开(公告)日：2022-09-09

申请号：CN202210601059.0

申请日：2022-05-30

Applicant: 清华大学

Inventor： 张春 ,  张惟宜 ,  牛丽婷 ,  姜汉钧

IPC: G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种Adam算法加速系统及方法，该系统包括：一阶矩估计子系统，用于根据上轮一阶矩与本轮梯度，计算本轮一阶矩；二阶矩平方根估计子系统，用于根据上轮二阶矩平方根与本轮梯度，计算本轮二阶矩平方根；更新步计算子系统包括：平方根倒数计算模块，用于采用快速平方根倒数算法，根据本轮二阶矩平方根，计算平方根倒数；第一乘法器，用于对本轮一阶矩与平方根倒数进行乘法计算；第二乘法器，用于将第一乘法器的输出与平方根倒数进行乘法计算，获得本轮更新步，所述本轮更新步用于在硬件中训练神经网络，更新网络参数。本发明可以实现在硬件中训练神经网络时进行Adam算法加速，提高吞吐率。

公开(公告)号：CN115099397B

公开(公告)日：2025-04-25

申请号：CN202210599828.8

申请日：2022-05-30

Applicant: 清华大学

Inventor： 张春 ,  牛丽婷 ,  张惟宜 ,  姜汉钧

IPC: G06N3/063 ,  G06N3/08 ,  G06N3/084

Abstract: 本发明公开了一种面向硬件的Adam算法二阶矩估计优化方法及系统，该方法包括：初始化；重复执行以下步骤，直至达到设定迭代步数或满足收敛条件：针对本步待优化参数对目标函数求导，获得本步梯度；根据二阶指数衰减因子、本步梯度的绝对值和上步二阶矩估计开平方值，获得二阶距开平方和公式的较大值和较小值；将其输入至二阶距开平方和公式，获得本步二阶矩估计开平方值，以计算本步更新步，二阶距开平方和公式的确定步骤如下：获得平方和开根号近似公式；获得用于表示二阶距开平方和公式的较大值和较小值；确定二阶距开平方和公式。本发明可以实现低资源占用、高吞吐率的面向硬件的Adam算法二阶矩估计优化，且可避免精度的损失。

公开(公告)号：CN115686436A

公开(公告)日：2023-02-03

申请号：CN202211392878.5

申请日：2022-11-08

Applicant: 清华大学

Inventor： 张春 ,  张惟宜 ,  牛丽婷 ,  姜汉钧 ,  王志华

IPC: G06F7/535

Abstract: 本发明公开了一种定点数除法的计算方法及装置，该方法包括：将定点数形式的除数，转化为32bit浮点数，得到第一浮点数并计算整数数值；将预设常数和第一浮点数的整数数值之间的差值，视作第二浮点数；所述差值和所述第二浮点数存在相同的32bit存储格式；将第二浮点数，转化为第一定点数并作为定点数形式的除数的倒数的一阶估计值；对所述一阶估计值进行牛顿迭代，得到定点数形式的除数的倒数的二阶估计值；根据定点数形式的被除数和除数之商的正负符号、以及所述二阶估计值与定点数形式的被除数的乘积，生成定点数形式的被除数、和定点数形式的除数的除法运算结果。本发明所需时钟周期少且固定，可提高数字集成系统的性能。

公开(公告)号：CN115099397A

公开(公告)日：2022-09-23

申请号：CN202210599828.8

申请日：2022-05-30

Applicant: 清华大学

Inventor： 张春 ,  牛丽婷 ,  张惟宜 ,  姜汉钧

IPC: G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种面向硬件的Adam算法二阶矩估计优化方法及系统，该方法包括：初始化；重复执行以下步骤，直至达到设定迭代步数或满足收敛条件：针对本步待优化参数对目标函数求导，获得本步梯度；根据二阶指数衰减因子、本步梯度的绝对值和上步二阶矩估计开平方值，获得二阶距开平方和公式的较大值和较小值；将其输入至二阶距开平方和公式，获得本步二阶矩估计开平方值，以计算本步更新步，二阶距开平方和公式的确定步骤如下：获得平方和开根号近似公式；获得用于表示二阶距开平方和公式的较大值和较小值；确定二阶距开平方和公式。本发明可以实现低资源占用、高吞吐率的面向硬件的Adam算法二阶矩估计优化，且可避免精度的损失。