公开(公告)号：CN109165006B

公开(公告)日：2021-08-06

申请号：CN201810892536.7

申请日：2018-08-07

Applicant: 上海交通大学

Inventor： 张卓健 ,  邵启明 ,  王少军 ,  王琴

IPC: G06F7/556 ,  G06N3/063 ,  G06N3/04

Abstract: Softmax函数可以完成标量到概率的转换，被广泛应用在深度神经网络分类器中的输出层。时下，多分类问题作为深度学习的重要应用有着分类类别越来越多，精度要求越来越高的应用趋势。本发明提出了一种Softmax函数的设计优化及硬件实现方法及系统，针对大量输入数据个数、广输入范围与高精度要求，本发明通过两遍输入的输入模式进行计算以减少片上存储资源、通过可配置查找表以应对多种输入定点化方案、通过硬件决定输出定点化方案以提高精度。

公开(公告)号：CN115438775A

公开(公告)日：2022-12-06

申请号：CN202211200169.2

申请日：2022-09-29

Applicant: 上海交通大学

Inventor： 王琴 ,  张卓健 ,  蒋剑飞 ,  景乃锋 ,  绳伟光

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种卷积神经网络训练8位张量表示方法及系统，包括：步骤S1：张量分成低比特张量部分和共享阶码数组；步骤S2：使用SP8表示方法表示低比特张量部分的数值；步骤S3：使用按通道分配共享阶码的共享阶码管理方法共享阶码部分；步骤S4：将张量表示方法应用于卷积神经网络训练时卷积部分的前向传播与反向传播。本发明有效降低卷积神经网络训练时的存储开销与计算开销；本发明具有比现有8位张量表示方法更高的神经网络训练精度。

公开(公告)号：CN109165006A

公开(公告)日：2019-01-08

申请号：CN201810892536.7

申请日：2018-08-07

Applicant: 上海交通大学

Inventor： 张卓健 ,  邵启明 ,  王少军 ,  王琴

IPC: G06F7/556 ,  G06N3/063 ,  G06N3/04

Abstract: Softmax函数可以完成标量到概率的转换，被广泛应用在深度神经网络分类器中的输出层。时下，多分类问题作为深度学习的重要应用有着分类类别越来越多，精度要求越来越高的应用趋势。本发明提出了一种Softmax函数的设计优化及硬件实现方法及系统，针对大量输入数据个数、广输入范围与高精度要求，本发明通过两遍输入的输入模式进行计算以减少片上存储资源、通过可配置查找表以应对多种输入定点化方案、通过硬件决定输出定点化方案以提高精度。