公开(公告)号：CN105122279B

公开(公告)日：2018-09-18

申请号：CN201480012430.3

申请日：2014-03-04

Applicant: 微软技术许可有限责任公司

Inventor： D·俞 ,  姚开盛 ,  苏航 ,  李钢 ,  F·塞德

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文描述的各种技术涉及针对特定用户或上下文来保守地适配识别系统中的深度神经网络(DNN)。DNN被用来响应于对所捕捉的用户输入的接收来输出上下文相关单元的各模型上的概率分布。基于所捕捉的用户输入来针对特定用户适配所述DNN，其中所述适配是保守地进行的，以使得已适配的DNN和未适配的DNN的输出之间的偏差受到约束。

公开(公告)号：CN103049792B

公开(公告)日：2016-08-17

申请号：CN201210488501.X

申请日：2012-11-26

Applicant: 微软技术许可有限责任公司

Inventor： 弗兰克塞得 ,  邓丽 ,  俞栋 ,  李钢

IPC: G06N3/08

CPC classification number: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了深层神经网络的辨别预训练。提出了预训练深层神经网络（DNN）的隐层的辨别预训练技术实施例。大体上，首先利用误差反向传播（BP）使用标签来辨别地训练单隐层神经网络。然后，在丢弃之前的单隐层神经网络的输出层之后，连同新输出层在之前训练的隐层的顶上添加另一随机初始化的隐层，所述新输出层表示分类或识别的目标。然后利用同一策略辨别地训练作为结果产生的多隐层DNN等等，直到达到期望数量的隐层。这产生了预训练的DNN。所述辨别预训练技术实施例具有如下的优点：使得DNN层权重接近良好的局部最优，而仍使其留在具有高梯度的范围内，从而能够有效地对其进行微调。

公开(公告)号：CN105122279A

公开(公告)日：2015-12-02

申请号：CN201480012430.3

申请日：2014-03-04

Applicant: 微软技术许可有限责任公司

Inventor： D·俞 ,  姚开盛 ,  苏航 ,  李钢 ,  F·塞德

IPC: G06N3/04 ,  G06N3/08

CPC classification number: G10L15/16 ,  G06N3/0481 ,  G06N3/084 ,  G10L15/07 ,  G10L15/20

Abstract: 本文描述的各种技术涉及针对特定用户或上下文来保守地适配识别系统中的深度神经网络(DNN)。DNN被用来响应于对所捕捉的用户输入的接收来输出上下文相关单元的各模型上的概率分布。基于所捕捉的用户输入来针对特定用户适配所述DNN，其中所述适配是保守地进行的，以使得已适配的DNN和未适配的DNN的输出之间的偏差受到约束。