一种基于循环神经网络的激活函数参数化改进方法

    公开(公告)号:CN109857867A

    公开(公告)日:2019-06-07

    申请号:CN201910056795.0

    申请日:2019-01-22

    Abstract: 本发明公开了一种基于循环神经网络的激活函数参数化改进方法,包括步骤:步骤一,以长短期记忆网络为基础,构建双向长短期记忆网络Bi-LSTM;步骤二,将Bi-LSTM网络中各个隐藏层串联,在网络中最后一层隐藏层之后加入平均池化层,在平均池化层之后连接一个归一指数化函数层,建立密集连接的双向长短期记忆网络DC-Bi-LSTM;步骤三,运用参数化Sigmoid激活函数,在数据集上进行训练,记录密集连接的双向长短期记忆网络对句子分类的精确度,得到最佳精确度对应的参数化激活函数。本发明通过参数化激活函数模块,使得S型激活函数的非饱和区域得到扩展,同时避免函数的导数过小,防止梯度消失现象的发生。

Patent Agency Ranking