公开(公告)号：CN106919977B

公开(公告)日：2022-05-17

申请号：CN201510998704.7

申请日：2015-12-25

Applicant: 科大讯飞股份有限公司

Inventor： 张仕良 ,  熊世富 ,  魏思 ,  潘嘉 ,  刘聪 ,  胡国平 ,  胡郁 ,  刘庆峰

IPC: G06N3/04

Abstract: 本发明公开了一种前馈序列记忆神经网络及其构建方法和系统，该前馈序列记忆神经网络包括：至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，该记忆块用于存储每帧输入信息的历史信息和未来信息。由于该双向FSMN层包括记忆块，通过该记忆块存储每帧输入信息的历史信息和未来信息，可以利用训练数据的长时信息，并且该过程无需通过双向循环反馈，可以保证信息处理效率。

公开(公告)号：CN108122035A

公开(公告)日：2018-06-05

申请号：CN201611070244.2

申请日：2016-11-29

Applicant: 科大讯飞股份有限公司

Inventor： 潘嘉 ,  张仕良 ,  熊世富 ,  魏思 ,  胡国平

IPC: G06N99/00 ,  G10L15/06

Abstract: 本发明公开了一种端到端建模方法及系统，该方法包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。利用本发明，可以提高建模的准确度。

公开(公告)号：CN104751228B

公开(公告)日：2018-04-27

申请号：CN201310755401.3

申请日：2013-12-31

Applicant: 科大讯飞股份有限公司

Inventor： 潘嘉 ,  何婷婷 ,  刘聪 ,  王智国 ,  胡国平 ,  张仕良 ,  胡郁

IPC: G06N3/08 ,  G10L15/16

Abstract: 本发明公开了一种深度神经网络的构建方法及系统，该方法包括：对深度神经网络进行初始化，所述初始化包括确定所述深度神经网络的拓扑结构；利用训练数据训练所述深度神经网络的模型参数；基于所述深度神经网络的拓扑结构在所述训练数据上的分布特征对所述深度神经网络进行结构优化。与现有技术的深度神经网络相比，应用本发明构建的深度神经网络极大地减少了神经网络的参数个数，减小了所需的存储空间并且加快了模型的训练速度。

公开(公告)号：CN108122035B

公开(公告)日：2019-10-18

申请号：CN201611070244.2

申请日：2016-11-29

Applicant: 科大讯飞股份有限公司

Inventor： 潘嘉 ,  张仕良 ,  熊世富 ,  魏思 ,  胡国平

IPC: G06N20/00 ,  G10L15/06

Abstract: 本发明公开了一种端到端建模方法及系统，该方法包括：确定基于目标的端到端模型的拓扑结构，所述拓扑结构包括：输入层、编码层、强化编码层、过滤层、解码层、输出层；所述强化编码层用于对所述编码层输出的特征序列加入目标单元信息，所述过滤层用于对所述强化编码层加入所述目标单元信息后的特征序列进行信息过滤；收集大量训练数据；确定所述训练数据的标注对象，并对所述标注对象中的目标单元进行标注；提取所述训练数据的特征序列；利用所述训练数据的特征序列及其目标单元的标注信息对基于目标的端到端模型的参数进行训练，得到基于目标的端到端模型参数。利用本发明，可以提高建模的准确度。

公开(公告)号：CN104751227B

公开(公告)日：2018-03-06

申请号：CN201310755400.9

申请日：2013-12-31

Applicant: 科大讯飞股份有限公司

Inventor： 潘嘉 ,  何婷婷 ,  刘聪 ,  王智国 ,  胡国平 ,  张仕良 ,  胡郁

IPC: G06N3/08 ,  G10L15/16 ,  G10L15/06 ,  G10L25/30

Abstract: 本发明公开了一种深度神经网络的构建方法及系统，该方法包括：确定深度神经网络输入层的节点个数和输出层的节点个数；获取训练数据；确定深度神经网络隐含层的层数和第一层隐含层的节点个数：根据所述训练数据的数据量、隐含层的层数和第一层隐含层的节点个数，确定后续隐含层的节点个数，并使不同隐含层的节点个数呈递减变化；利用所述训练数据确定所述深度神经网络的模型参数得到深度神经网络。与现有技术的深度神经网络相比，应用本发明构建的深度神经网络极大地减少了神经网络的参数个数，减小了所需的存储空间并且加快了模型的训练速度。

公开(公告)号：CN106919977A

公开(公告)日：2017-07-04

申请号：CN201510998704.7

申请日：2015-12-25

Applicant: 科大讯飞股份有限公司

Inventor： 张仕良 ,  熊世富 ,  魏思 ,  潘嘉 ,  刘聪 ,  胡国平 ,  胡郁 ,  刘庆峰

IPC: G06N3/04

CPC classification number: G06N3/0445

Abstract: 本发明公开了一种前馈序列记忆神经网络及其构建方法和系统，该前馈序列记忆神经网络包括：至少三层的多个节点，第一层为输入层，最后一层为输出层，其它位于输入层和输出层之间的多个节点组成至少一个隐层，每一个隐层都包含一个记忆块，隐层与记忆块共同构成双向前馈序列记忆神经网络FSMN层，该记忆块用于存储每帧输入信息的历史信息和未来信息。由于该双向FSMN层包括记忆块，通过该记忆块存储每帧输入信息的历史信息和未来信息，可以利用训练数据的长时信息，并且该过程无需通过双向循环反馈，可以保证信息处理效率。