公开(公告)号：CN109886389B

公开(公告)日：2023-04-25

申请号：CN201910019665.X

申请日：2019-01-09

Applicant: 南京邮电大学

Inventor： 于舒娟 ,  杨杰 ,  曹健 ,  李冰蕊 ,  张昀

IPC: G06N3/0442 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明公开了一种基于Highway和DC的新型双向LSTM神经网络构建方法，所述方法包括如下步骤：构造双向LSTM神经网络—BiLSTM；B据BiLSTM构造基于DenselyConnection的双向LSTM神经网络—DC‑BiLSTM；向DC‑BiLSTM中引入Highway，得到基于Highway和DC的双向LSTM神经网络，该方法在于继承了Highway和DC克服深度神经网络中的梯度问题的能力，从而相较传统的深层LSTM和DC‑LSTM，在相同深度和相同数据集下，精度更优且收敛速度更快，Highway‑DC还可以使更深层网络(30层)易于训练，且精度尚未饱和。

公开(公告)号：CN109886389A

公开(公告)日：2019-06-14

申请号：CN201910019665.X

申请日：2019-01-09

Applicant: 南京邮电大学

Inventor： 于舒娟 ,  杨杰 ,  曹健 ,  李冰蕊 ,  张昀

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于Highway和DC的新型双向LSTM神经网络构建方法，所述方法包括如下步骤：构造双向LSTM神经网络—BiLSTM；B据BiLSTM构造基于DenselyConnection的双向LSTM神经网络—DC-BiLSTM；向DC-BiLSTM中引入Highway，得到基于Highway和DC的双向LSTM神经网络，该方法在于继承了Highway和DC克服深度神经网络中的梯度问题的能力，从而相较传统的深层LSTM和DC-LSTM，在相同深度和相同数据集下，精度更优且收敛速度更快，Highway-DC还可以使更深层网络(30层)易于训练，且精度尚未饱和。