公开(公告)号：CN105229725A

公开(公告)日：2016-01-06

申请号：CN201480025694.2

申请日：2014-03-05

Applicant: 微软技术许可有限责任公司

Inventor： J-T·黄 ,  J·李 ,  D·俞 ,  L·邓 ,  Y·宫

IPC: G10L15/16

CPC classification number: G10L15/063 ,  G06N3/0454 ,  G06N3/084 ,  G10L15/16

Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层，其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层，从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的，使得新softmax层可被添加在现有隐藏层顶上，其中新softmax层对应于新目标语言。

公开(公告)号：CN106415535B

公开(公告)日：2020-03-17

申请号：CN201580019941.2

申请日：2015-04-06

Applicant: 微软技术许可有限责任公司

Inventor： 过晨雷 ,  高剑峰 ,  王野翊 ,  L·邓 ,  何晓冬

IPC: G06F16/9535 ,  G06N3/04

Abstract: 在本文中描述了一种用于基于上下文来提供搜索结果的搜索引擎，在该上下文中已经提交了查询，如由上下文信息所表示的。搜索引擎通过基于对查询的考虑并且部分基于上下文概念向量和多个文档概念向量来进行操作，所述上下文概念向量和文档概念向量都是使用深度学习模型(例如，深度神经网络)生成的。上下文概念向量是通过使用深度学习模型将上下文信息投影到语义空间中而形成的。每个文档概念向量都是通过使用深度学习模型将与特定的文档相关联的文档信息投影到语音空间中而形成的。排序是通过提升(promote)与语义空间内的上下文相关的文档的排名，并且降低(disfavor)与语义空间内的上下文不相关的文档的排名来操作的。

公开(公告)号：CN102737278B

公开(公告)日：2019-02-12

申请号：CN201210089488.0

申请日：2012-03-30

Applicant: 微软技术许可有限责任公司

Inventor： L·邓 ,  D·余 ,  A·埃西罗

IPC: G06N3/08

Abstract: 本发明涉及结合非线性随机投影、受限波尔兹曼机、以及基于批量的可并行优化来使用的深凸网络。本文公开了一种包括以下动作的方法：使得处理器访问深结构化的、已分层的、或分等级的模型(称为深凸网络，被保持在计算机可读介质中)，其中该深结构化的模型包括具有所分配的权重的多个层。这一已分层模型可以产生输出，该输出担当用于与隐马尔科夫模型中的各状态之间的转移概率相组合的分数，以及担当用于形成全语音识别器的语言模型分数。该方法联合使用非线性随机投影和RBM权重，并且它将较低模块的输出与原始数据进行堆叠以建立它的紧接的较高模块。执行基于批量的凸优化来学习深凸网络的权重的一部分，从而使它适于并行计算来完成训练。该方法还可包括使用基于序列而非一组不相关帧的优化准则来对该深度结构化的模型的权重、转移概率和语言模型分数进行联合地充分优化的动作。

公开(公告)号：CN105229725B

公开(公告)日：2019-06-25

申请号：CN201480025694.2

申请日：2014-03-05

Applicant: 微软技术许可有限责任公司

Inventor： J-T·黄 ,  J·李 ,  D·俞 ,  L·邓 ,  Y·宫

IPC: G10L15/16

CPC classification number: G10L15/063 ,  G06N3/0454 ,  G06N3/084 ,  G10L15/16

Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层，其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层，从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的，使得新softmax层可被添加在现有隐藏层顶上，其中新softmax层对应于新目标语言。

公开(公告)号：CN106415535A

公开(公告)日：2017-02-15

申请号：CN201580019941.2

申请日：2015-04-06

Applicant: 微软技术许可有限责任公司

Inventor： 过晨雷 ,  高剑峰 ,  王野翊 ,  L·邓 ,  何晓冬

IPC: G06F17/30 ,  G06N3/04

Abstract: 在本文中描述了一种用于基于上下文来提供搜索结果的搜索引擎，在该上下文中已经提交了查询，如由上下文信息所表示的。搜索引擎通过基于对查询的考虑并且部分基于上下文概念向量和多个文档概念向量来进行操作，所述上下文概念向量和文档概念向量都是使用深度学习模型(例如，深度神经网络)生成的。上下文概念向量是通过使用深度学习模型将上下文信息投影到语义空间中而形成的。每个文档概念向量都是通过使用深度学习模型将与特定的文档相关联的文档信息投影到语音空间中而形成的。排序是通过提升(promote)与语义空间内的上下文相关的文档的排名，并且降低(disfavor)与语义空间内的上下文不相关的文档的排名来操作的。