-
公开(公告)号:CN110992935B
公开(公告)日:2023-08-11
申请号:CN201911225718.X
申请日:2014-09-12
Applicant: 微软技术许可有限责任公司
Abstract: 本公开涉及用于训练神经网络的计算系统。各技术和构造可减少确定优化问题(如神经网络的训练)的解所需的时间。可由并行地操作的多个节点确定对计算模型的修改。经量化的修改值可以在各节点之间传送以减少要传送的数据量。经量化的值可小至每一者一位。量化‑误差值可被存储并用于量化后续修改。各节点可并行地操作且使计算和数据传输重叠以进一步减少确定解所需的时间。经量化的值可被分区且每一节点可合计对应分区的值。
-
公开(公告)号:CN105229725A
公开(公告)日:2016-01-06
申请号:CN201480025694.2
申请日:2014-03-05
Applicant: 微软技术许可有限责任公司
IPC: G10L15/16
CPC classification number: G10L15/063 , G06N3/0454 , G06N3/084 , G10L15/16
Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层,其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层,从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的,使得新softmax层可被添加在现有隐藏层顶上,其中新softmax层对应于新目标语言。
-
公开(公告)号:CN106062786B
公开(公告)日:2019-12-31
申请号:CN201480068322.8
申请日:2014-09-12
Applicant: 微软技术许可有限责任公司
IPC: G06N3/08
Abstract: 各技术和构造可减少确定优化问题(如神经网络的训练)的解所需的时间。可由并行地操作的多个节点确定对计算模型的修改。经量化的修改值可以在各节点之间传送以减少要传送的数据量。经量化的值可小至每一者一位。量化‑误差值可被存储并用于量化后续修改。各节点可并行地操作且使计算和数据传输重叠以进一步减少确定解所需的时间。经量化的值可被分区且每一节点可合计对应分区的值。
-
公开(公告)号:CN105229725B
公开(公告)日:2019-06-25
申请号:CN201480025694.2
申请日:2014-03-05
Applicant: 微软技术许可有限责任公司
IPC: G10L15/16
CPC classification number: G10L15/063 , G06N3/0454 , G06N3/084 , G10L15/16
Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层,其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层,从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的,使得新softmax层可被添加在现有隐藏层顶上,其中新softmax层对应于新目标语言。
-
公开(公告)号:CN105122279A
公开(公告)日:2015-12-02
申请号:CN201480012430.3
申请日:2014-03-04
Applicant: 微软技术许可有限责任公司
CPC classification number: G10L15/16 , G06N3/0481 , G06N3/084 , G10L15/07 , G10L15/20
Abstract: 本文描述的各种技术涉及针对特定用户或上下文来保守地适配识别系统中的深度神经网络(DNN)。DNN被用来响应于对所捕捉的用户输入的接收来输出上下文相关单元的各模型上的概率分布。基于所捕捉的用户输入来针对特定用户适配所述DNN,其中所述适配是保守地进行的,以使得已适配的DNN和未适配的DNN的输出之间的偏差受到约束。
-
公开(公告)号:CN110992935A
公开(公告)日:2020-04-10
申请号:CN201911225718.X
申请日:2014-09-12
Applicant: 微软技术许可有限责任公司
Abstract: 本公开涉及用于训练神经网络的计算系统。各技术和构造可减少确定优化问题(如神经网络的训练)的解所需的时间。可由并行地操作的多个节点确定对计算模型的修改。经量化的修改值可以在各节点之间传送以减少要传送的数据量。经量化的值可小至每一者一位。量化-误差值可被存储并用于量化后续修改。各节点可并行地操作且使计算和数据传输重叠以进一步减少确定解所需的时间。经量化的值可被分区且每一节点可合计对应分区的值。
-
公开(公告)号:CN105122279B
公开(公告)日:2018-09-18
申请号:CN201480012430.3
申请日:2014-03-04
Applicant: 微软技术许可有限责任公司
Abstract: 本文描述的各种技术涉及针对特定用户或上下文来保守地适配识别系统中的深度神经网络(DNN)。DNN被用来响应于对所捕捉的用户输入的接收来输出上下文相关单元的各模型上的概率分布。基于所捕捉的用户输入来针对特定用户适配所述DNN,其中所述适配是保守地进行的,以使得已适配的DNN和未适配的DNN的输出之间的偏差受到约束。
-
公开(公告)号:CN106062786A
公开(公告)日:2016-10-26
申请号:CN201480068322.8
申请日:2014-09-12
Applicant: 微软技术许可有限责任公司
IPC: G06N3/08
Abstract: 各技术和构造可减少确定优化问题(如神经网络的训练)的解所需的时间。可由并行地操作的多个节点确定对计算模型的修改。经量化的修改值可以在各节点之间传送以减少要传送的数据量。经量化的值可小至每一者一位。量化‑误差值可被存储并用于量化后续修改。各节点可并行地操作且使计算和数据传输重叠以进一步减少确定解所需的时间。经量化的值可被分区且每一节点可合计对应分区的值。
-
-
-
-
-
-
-