公开(公告)号：CN113723044A

公开(公告)日：2021-11-30

申请号：CN202111061410.3

申请日：2021-09-10

Applicant: 上海交通大学

Inventor： 景乃锋 ,  郭梦裕 ,  张子涵 ,  蒋剑飞 ,  王琴

IPC: G06F30/392 ,  G06N3/063

Abstract: 本发明公开了一种基于数据稀疏性的超额行激活存算一体加速器设计，涉及存算一体架构的神经网络加速器设计领域，包括三部分，构建基于行激活数据的预测机制，建模外围电路器件限制与计算并行度，解决所述外围电路与所述计算并行度的匹配问题；构建行激活超额订阅机制，自适应地调整所述计算并行度和资源使用，解决稀疏数据下计算阵列和所述外围电路利用率低，资源冗余的问题；针对神经网络数据稀疏性的特点，重新规划控制流和数据流，解决了利用数据稀疏性而引入的复杂电路设计的问题。本发明通过预测输出数据规模，建模外围电路器件限制与计算并行度关系，根据预测自适应地调整计算并行度和资源使用，以最大程度利用外围电路资源。

公开(公告)号：CN113705794B

公开(公告)日：2023-09-01

申请号：CN202111048239.2

申请日：2021-09-08

Applicant: 上海交通大学

Inventor： 景乃锋 ,  孙永帅 ,  郭梦裕 ,  蒋剑飞 ,  王琴

IPC: G06N3/048 ,  G06N3/063 ,  G06F7/544

Abstract: 本发明公开了一种基于动态激活位稀疏的神经网络加速器设计方法，涉及深度神经网络加速器设计领域，包括神经网络加速器的架构、计算阵列组织方式、神经网络加速器中稀疏性数据的表达形式，所述神经网络加速器的架构包括DRAM连接、加载Load单元、有效位检测阵列单元、激活位稀疏计算阵列以及写回Store单元，及有这些单元间的连接形式和数据流方式；所述计算阵列组织方式是指通过对激活数据进行分组，以及组内交叉计算，组间同步计算的组织方式；所述神经网络加速器中稀疏性数据的表达形式是指设计激活数据的检测方式和数据表达形式。本发明提出了一种动态激活位稀疏的神经网络加速器设计方法，并针对激活有效位的数量不平衡问题进行了优化设计。

公开(公告)号：CN113723044B

公开(公告)日：2024-04-05

申请号：CN202111061410.3

申请日：2021-09-10

Applicant: 上海交通大学

Inventor： 景乃锋 ,  郭梦裕 ,  张子涵 ,  蒋剑飞 ,  王琴

IPC: G06F30/392 ,  G06N3/063

Abstract: 本发明公开了一种基于数据稀疏性的超额行激活存算一体加速器设计方法，涉及存算一体架构的神经网络加速器设计领域，包括三部分，构建基于行激活数据的预测机制，建模外围电路器件限制与计算并行度，解决所述外围电路与所述计算并行度的匹配问题；构建行激活超额订阅机制，自适应地调整所述计算并行度和资源使用，解决稀疏数据下计算阵列和所述外围电路利用率低，资源冗余的问题；针对神经网络数据稀疏性的特点，重新规划控制流和数据流，解决了利用数据稀疏性而引入的复杂电路设计的问题。本发明通过预测输出数据规模，建模外围电路器件限制与计算并行度关系，根据预测自适应地调整计算并行度和资源使用，以最大程度利用外围电路资源。

公开(公告)号：CN113705794A

公开(公告)日：2021-11-26

申请号：CN202111048239.2

申请日：2021-09-08

Applicant: 上海交通大学

Inventor： 景乃锋 ,  孙永帅 ,  郭梦裕 ,  蒋剑飞 ,  王琴

IPC: G06N3/04 ,  G06N3/063 ,  G06F7/544

Abstract: 本发明公开了一种基于动态激活位稀疏的神经网络加速器设计方法，涉及深度神经网络加速器设计领域，包括神经网络加速器的架构、计算阵列组织方式、神经网络加速器中稀疏性数据的表达形式，所述神经网络加速器的架构包括DRAM连接、加载Load单元、有效位检测阵列单元、激活位稀疏计算阵列以及写回Store单元，及有这些单元间的连接形式和数据流方式；所述计算阵列组织方式是指通过对激活数据进行分组，以及组内交叉计算，组间同步计算的组织方式；所述神经网络加速器中稀疏性数据的表达形式是指设计激活数据的检测方式和数据表达形式。本发明提出了一种动态激活位稀疏的神经网络加速器设计方法，并针对激活有效位的数量不平衡问题进行了优化设计。