本发明涉及计算机信息处理技术领域，具体涉及一种端到端的神经网络语音识别模型的训练方法，包括如下步骤：步骤1、收集语音信息，并保存成音频文件；步骤2、对音频文件进行初筛，使音量大小一致；步骤3、通过人工对音频文件的内容进行标注，并生成数据文件；步骤4、对标注完毕的数据进行预处理，进行特征分布；步骤5、构建音频预处理模块，对所述音频文件进行变速、增加噪音、频域信号的扰动增强；步骤6、使用端到端的深度学习模型构建语音识别模型；步骤7、优化语音识别模型；步骤8、输入的音频信号得到解码出的文本信息。本发明提出的一个端到端的语音识别模型，目的在于显著提升识别效果。