-
公开(公告)号:CN108475346B
公开(公告)日:2022-04-19
申请号:CN201680072624.1
申请日:2016-11-11
Applicant: 谷歌有限责任公司
Inventor: 伊利亚·苏特思科韦尔 , 马尔钦·安德里霍维奇 , 卡罗尔·彼得·库拉奇
IPC: G06N3/04
Abstract: 方法、系统和装置,包括编码在计算机存储介质上的计算机程序,用于从系统输出生成系统输入。在一个方面中,一种神经网络系统包括存储器,所述存储器存储一组寄存器向量和定义模块的数据,其中,每个模块是把一个或多个第一向量作为输入并且输出第二向量的相应函数。所述系统也包括控制器神经网络,所述控制器神经网络被配置成接收每个时间步的神经网络输入并且处理该神经网络输入以生成神经网络。所述系统还包括子系统,所述子系统被配置成确定所述模块中的每个模块的输入,处理向模块的输入以生成相应的模块输出,确定所述寄存器向量的更新值,并且从所述寄存器向量的更新值生成下一个时间步的神经网络输入。
-
公开(公告)号:CN113326705A
公开(公告)日:2021-08-31
申请号:CN202110420003.0
申请日:2015-06-08
Applicant: 谷歌有限责任公司
Inventor: 奥里奥尔·温亚尔斯 , 国·V·勒 , 伊利亚·苏特思科韦尔
Abstract: 本公开涉及使用神经网络产生输入序列的表示的方法、系统和介质。方法、系统和装置,包括在计算机储存介质上编码的计算机程序,用于产生输入序列的表示。方法之一包括获得输入序列,所述输入序列包括根据输入顺序排列的多个输入;使用第一长短期记忆(LSTM)神经网络处理所述输入序列,以将所述输入序列转换为输入序列的可替换表示;以及使用第二LSTM神经网络处理输入序列的可替换表示,以产生输入序列的目标序列,所述目标序列包括根据输出顺序排列的多个输出。
-
公开(公告)号:CN108351982A
公开(公告)日:2018-07-31
申请号:CN201680066470.5
申请日:2016-11-11
Applicant: 谷歌有限责任公司
Inventor: 卢卡什·米奇斯瓦夫·凯泽 , 伊利亚·苏特思科韦尔
CPC classification number: G06N3/0445 , G06F17/16 , G06N3/0454 , G06N3/08
Abstract: 用于实现卷积门控递归神经网络(CGRN)的方法、系统和装置,包括在计算机存储介质上编码的计算机程序。在其中一个系统中,CGRN被配置为维持尺寸为x乘y乘m的状态张量,其中x、y和m各大于1,并且对于多个时间步长中的每一个,通过经多个卷积门处理当前维持的状态张量来更新该状态。CGRN的架构允许CGRN高度平行,即,因为CGRN是由高度平行的卷积算子构成的,使得CGRN以更小计算强度来训练并且更有计算效率地运行,即,计算推论。CGRN的架构允许CGRN泛化到不同大小的输入,例如,允许在较短输入上训练的CGRN有效地针对较长输入计算推论。
-
公开(公告)号:CN108701251B
公开(公告)日:2022-08-12
申请号:CN201780015574.8
申请日:2017-02-09
Applicant: 谷歌有限责任公司
Inventor: 顾世翔 , 蒂莫西·保罗·利利克拉普 , 伊利亚·苏特思科韦尔 , 谢尔盖·弗拉迪米尔·莱文
Abstract: 方法、系统和装置,包括在计算机存储介质上编码的计算机程序,用于计算来自动作的连续动作空间的待由与环境交互的代理执行的动作的Q值。在一个方面,系统包括值子网络,所述值子网络被配置为接收表征环境的当前状态的观察并且处理该观察以生成值估计;策略子网络,所述策略子网络被配置为接收观察并处理观察以在连续动作空间中生成理想点;和子系统,所述子系统被配置为接收连续动作空间中表示特定动作的特定点;生成对特定动作的优势估计;并且为特定动作生成Q值,该Q值是当环境处于当前状态时在代理执行特定动作的情况下所得到的预期回报的估计。
-
公开(公告)号:CN107743630B
公开(公告)日:2021-12-17
申请号:CN201680034775.8
申请日:2016-07-26
Applicant: 谷歌有限责任公司
Inventor: 格雷戈里·肖恩·科拉多 , 伊利亚·苏特思科韦尔 , 杰弗里·阿德盖特·迪恩
Abstract: 用于使用循环神经网络来预测满足条件的可能性的方法、系统和装置,包括编码在计算机存储介质上的计算机程序。一种系统被配置为处理包括多个时间步中的每一个的各自的输入的时间序列,并且包括:一个或多个循环神经网络层;一个或多个逻辑回归节点,其中逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件,并且其中逻辑回归节点中的每一个被配置为对多个时间步中的每一个:接收用于时间步的网络内部状态;以及根据逻辑回归节点的参数集的当前值,处理用于时间步的网络内部状态,以生成用于时间步的相应条件的未来条件得分。
-
公开(公告)号:CN108701251A
公开(公告)日:2018-10-23
申请号:CN201780015574.8
申请日:2017-02-09
Applicant: 谷歌有限责任公司
Inventor: 顾世翔 , 蒂莫西·保罗·利利克拉普 , 伊利亚·苏特思科韦尔 , 谢尔盖·弗拉迪米尔·莱文
CPC classification number: G06N3/0427 , G06N3/08
Abstract: 方法、系统和装置,包括在计算机存储介质上编码的计算机程序,用于计算来自动作的连续动作空间的待由与环境交互的代理执行的动作的Q值。在一个方面,系统包括值子网络,所述值子网络被配置为接收表征环境的当前状态的观察并且处理该观察以生成值估计;策略子网络,所述策略子网络被配置为接收观察并处理观察以在连续动作空间中生成理想点;和子系统,所述子系统被配置为接收连续动作空间中表示特定动作的特定点;生成对特定动作的优势估计;并且为特定动作生成Q值,该Q值是当环境处于当前状态时在代理执行特定动作的情况下所得到的预期回报的估计。
-
公开(公告)号:CN107743630A
公开(公告)日:2018-02-27
申请号:CN201680034775.8
申请日:2016-07-26
Applicant: 谷歌有限责任公司
Inventor: 格雷戈里·肖恩·科拉多 , 伊利亚·苏特思科韦尔 , 杰弗里·阿德盖特·迪恩
CPC classification number: G06N3/0472 , G06F19/00 , G06N3/02 , G06N3/0427 , G06N3/0445 , G06N3/063 , G16H50/20
Abstract: 用于使用循环神经网络来预测满足条件的可能性的方法、系统和装置,包括编码在计算机存储介质上的计算机程序。一种系统被配置为处理包括多个时间步中的每一个的各自的输入的时间序列,并且包括:一个或多个循环神经网络层;一个或多个逻辑回归节点,其中逻辑回归节点中的每一个对应于来自预定条件集中的各自的条件,并且其中逻辑回归节点中的每一个被配置为对多个时间步中的每一个:接收用于时间步的网络内部状态;以及根据逻辑回归节点的参数集的当前值,处理用于时间步的网络内部状态,以生成用于时间步的相应条件的未来条件得分。
-
公开(公告)号:CN107995992B
公开(公告)日:2021-10-19
申请号:CN201680029107.6
申请日:2016-07-26
Applicant: 谷歌有限责任公司
Inventor: 格雷戈里·肖恩·科拉多 , 杰弗里·阿德盖特·迪恩 , 伊利亚·苏特思科韦尔
Abstract: 用于使用递归神经网络分析健康事件的方法、系统和装置,包括在计算机存储介质上编码的计算机程序。一种方法包括获得健康事件的第一时间序列,其中所述第一时间序列包括在多个时间步中的每一个处与特定患者相关联的相应健康相关数据;使用递归神经网络处理所述健康事件的第一时间序列以生成针对所述第一时间序列的神经网络输出;以及从所述针对所述第一时间序列的神经网络输出生成健康分析数据,所述健康分析数据表征可能在所述时间序列中的最后时间步之后发生的未来健康事件。
-
公开(公告)号:CN111291553A
公开(公告)日:2020-06-16
申请号:CN202010075314.3
申请日:2015-10-23
Applicant: 谷歌有限责任公司
Inventor: 国·V·勒 , 梁明唐 , 伊利亚·苏特思科韦尔 , 奥里奥尔·温亚尔斯 , 沃伊切赫·扎连芭
IPC: G06F40/242 , G06F40/44 , G06F40/45 , G06N3/04
Abstract: 本申请涉及用于具有罕见词处理的神经翻译系统的方法、系统和设备,包括编码在计算机存储介质上的计算机程序。一种相应地用源语言和目标语言来训练神经网络翻译系统以跟踪目标句中的未知词的源句中的源的方法。
-
公开(公告)号:CN106663092B
公开(公告)日:2020-03-06
申请号:CN201580033550.6
申请日:2015-10-23
Applicant: 谷歌有限责任公司
Inventor: 国·V·勒 , 梁明唐 , 伊利亚·苏特思科韦尔 , 奥里奥尔·温亚尔斯 , 沃伊切赫·扎连芭
IPC: G06F40/242 , G06F40/44 , G06F40/45
Abstract: 用于具有罕见词处理的神经翻译系统的方法、系统和设备,包括编码在计算机存储介质上的计算机程序。一种相应地用源语言和目标语言来训练神经网络翻译系统以跟踪目标句中的未知词的源句中的源的方法。
-
-
-
-
-
-
-
-
-