Patent search ap:("西安交通大学") AND inv:"罗福杰" Page 1

1.

发明公开
一种近似计算批量归一化层的硬件架构及方法审中-实审

公开(公告)号：CN116205287A

公开(公告)日：2023-06-02

申请号：CN202310146623.9

申请日：2023-02-21

Applicant: 西安交通大学

Inventor： 张旭翀 , 罗福杰 , 李宝婷 , 汪航 , 贾轶杰 , 孙宏滨

IPC: G06N3/082 , G06N3/063 , G06N3/04

Abstract: 本发明公开了一种近似计算批量归一化层的硬件架构及方法，硬件架构包括：前向传播模块，用于在深度神经网络正向传播过程中近似计算BN层的前向计算过程；反向传播模块，用于深度神经网络在反向梯度传播时进行梯度信息的计算。本发明提出通过一个批次特征图中，每张特征图的最大神经元和最小神经元的平均值来近似计算小批量的总体均值；同时，使用比例调整因子C，通过将其与小批量的每个特征图的最大神经元与最小神经元差值的均值相乘，来近似计算小批量的总体标准差，从而近似计算BN层。本发明能够有效减少BN层(即批量归一化层)的浮点运算次数和外部存储器访问次数。

Patent Agency Ranking