-
公开(公告)号:CN104598972A
公开(公告)日:2015-05-06
申请号:CN201510032856.1
申请日:2015-01-22
Applicant: 清华大学
IPC: G06N3/02
Abstract: 本发明涉及一种大规模数据回归神经网络快速训练方法,属于机器学习技术领域,该方法采用平均梯度方向和梯度残差主成分方向同时更新内部系数的大规模数据进行回归神经网络快速训练,通过误差反传得到各训练样本处目标函数对内部系数的梯度后,对训练样本进行分组,根据各训练样本处目标函数值分别对整个训练样本集和各组的梯度加权平均,在全局平均梯度和组平均梯度与全局平均梯度正交的残差主成分方向共同更新内部系数。本方法能够以较低的计算代价有效利用各训练样本处梯度信息,减小迭代步数,提升RNN训练过程的计算效率。