公开(公告)号：CN114398949B

公开(公告)日：2024-07-26

申请号：CN202111519679.1

申请日：2021-12-13

Applicant: 鹏城实验室

Inventor： 朱学科 ,  林文杰 ,  陈靖宇 ,  田永鸿 ,  高文

IPC: G06N3/098 ,  G06N3/084 ,  G06N3/049 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048

Abstract: 本申请公开了一种脉冲神经网络模型的训练方法、存储介质及计算设备，方法包括：各计算节点进行前向传播确定激活值；各计算节点根据激活值计算并传输局部梯度，使得计算节点仅保存其对应的所有局部梯度；根据所有局部梯度确定目标梯度，根据目标梯度确定局部模型参数；将局部模型参数传输至其他计算节点以更新模型参数。本申请中各计算节点计算每个计算节点的局部梯度，传输并删除其他计算节点的局部梯度，使得各计算节点仅保存其对应的所有局部梯度，这样每个计算节点仅需要存放自身的局部梯度及激活值等，降低对计算节点的显示占用量，从而可以增大脉冲神经网络模型的训练批量，提高脉冲神经网络模型的训练速度。

公开(公告)号：CN114398949A

公开(公告)日：2022-04-26

申请号：CN202111519679.1

申请日：2021-12-13

Applicant: 鹏城实验室

Inventor： 朱学科 ,  林文杰 ,  陈靖宇 ,  田永鸿 ,  高文

IPC: G06K9/62 ,  G06N3/08

Abstract: 本申请公开了一种脉冲神经网络模型的训练方法、存储介质及计算设备，方法包括：各计算节点进行前向传播确定激活值；各计算节点根据激活值计算并传输局部梯度，使得计算节点仅保存其对应的所有局部梯度；根据所有局部梯度确定目标梯度，根据目标梯度确定局部模型参数；将局部模型参数传输至其他计算节点以更新模型参数。本申请中各计算节点计算每个计算节点的局部梯度，传输并删除其他计算节点的局部梯度，使得各计算节点仅保存其对应的所有局部梯度，这样每个计算节点仅需要存放自身的局部梯度及激活值等，降低对计算节点的显示占用量，从而可以增大脉冲神经网络模型的训练批量，提高脉冲神经网络模型的训练速度。