公开(公告)号：CN109885842B

公开(公告)日：2023-06-20

申请号：CN201910134308.8

申请日：2019-02-22

Applicant: 谷歌有限责任公司

Inventor： 杰米·瑞安·基罗斯 ,  威廉·常 ,  杰弗里·E·欣顿

IPC: G06F40/58 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/08

Abstract: 本公开涉及处理文本神经网络。方法、系统和装置包括在计算机存储介质上编码的计算机程序，用于生成使文本分段的词汇表中的每个文本分段与相应的数字嵌入相关联的数据集。在一个方面中，一种方法包括：向图像搜索引擎提供包括所述文本分段的搜索查询；获得已被分类为由所述图像搜索引擎响应于所述搜索查询的图像搜索结果，其中，每个图像搜索结果识别相应的图像；针对每个图像搜索结果，使用卷积神经网络来处理通过所述图像搜索结果所识别的所述图像，其中，所述卷积神经网络已被训练来处理所述图像以生成用于所述图像的图像数字嵌入；以及从用于通过所述图像搜索结果所识别的所述图像的所述图像数字嵌入生成用于所述文本分段的数字嵌入。

公开(公告)号：CN106462625B

公开(公告)日：2019-11-22

申请号：CN201580030355.8

申请日：2015-06-03

Applicant: 谷歌有限责任公司

Inventor： 阿密特·贝哈尔 ,  基思·帕特里克·戈尔登 ,  本·休特琴森 ,  威廉·常

IPC: G06F16/23

Abstract: 公开了一种用于响应于图表更新而自动地更新用于图表的所保存的查询结果的系统。所述系统能够响应于对数据图表的更新而识别目标约束。目标约束指定数据图表中的包括在更新中所指定的边缘的路径。系统能够通过经由路径遍历图表来确定用于目标约束的状态，并且基于所述状态确定用于包括约束的第一查询的经叠缩的定义指示成员节点是响应于第一查询。系统然后能够根据经叠缩的定义使用在遍历期间所识别的成员节点来更新用于第一查询的所保存的查询结果。

公开(公告)号：CN109885842A

公开(公告)日：2019-06-14

申请号：CN201910134308.8

申请日：2019-02-22

Applicant: 谷歌有限责任公司

Inventor： 杰米·瑞安·基罗斯 ,  威廉·常 ,  杰弗里·E·欣顿

IPC: G06F17/28 ,  G06N3/04 ,  G06N3/08

Abstract: 本公开涉及处理文本神经网络。方法、系统和装置包括在计算机存储介质上编码的计算机程序，用于生成使文本分段的词汇表中的每个文本分段与相应的数字嵌入相关联的数据集。在一个方面中，一种方法包括：向图像搜索引擎提供包括所述文本分段的搜索查询；获得已被分类为由所述图像搜索引擎响应于所述搜索查询的图像搜索结果，其中，每个图像搜索结果识别相应的图像；针对每个图像搜索结果，使用卷积神经网络来处理通过所述图像搜索结果所识别的所述图像，其中，所述卷积神经网络已被训练来处理所述图像以生成用于所述图像的图像数字嵌入；以及从用于通过所述图像搜索结果所识别的所述图像的所述图像数字嵌入生成用于所述文本分段的数字嵌入。

公开(公告)号：CN115803805A

公开(公告)日：2023-03-14

申请号：CN202180045795.6

申请日：2021-09-02

Applicant: 谷歌有限责任公司

Inventor： 陈楠昕 ,  比扬哈·春 ,  威廉·常 ,  罗恩·J·韦斯 ,  穆罕默德·诺劳兹 ,  张羽 ,  吴永辉

IPC: G10L13/02

Abstract: 公开了用于使用神经网络生成以网络输入为条件的输出的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括：获得网络输入；初始化当前网络输出；以及通过在多个迭代中的每个迭代下更新当前网络输出来生成最终网络输出，其中每个迭代对应于相应的噪声水平，并且其中更新包括在每个迭代下：使用被配置为处理模型输入以生成噪声输出的噪声估计神经网络来处理迭代的模型输入，该模型输入包括(i)当前网络输出和(ii)网络输入，其中噪声输出包括当前网络输出中每个值的相应的噪声估计；以及使用噪声估计和迭代的噪声水平来更新当前网络输出。

公开(公告)号：CN113330457A

公开(公告)日：2021-08-31

申请号：CN202080010238.6

申请日：2020-01-23

Applicant: 谷歌有限责任公司

Inventor： 雅各布·D·乌斯克雷特 ,  米切尔·托马斯·斯特恩 ,  杰米·瑞安·基罗斯 ,  威廉·常

IPC: G06N3/04 ,  G06N3/08

Abstract: 用于使用插入操作生成网络输出的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。

公开(公告)号：CN111727442A

公开(公告)日：2020-09-29

申请号：CN201980013555.0

申请日：2019-05-23

Applicant: 谷歌有限责任公司

Inventor： 穆罕默德·诺劳兹 ,  威廉·常 ,  萨拉·萨布尔·劳赫·阿格达姆

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/00

Abstract: 用于训练序列生成神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法中的一个包括：获得一个批次的训练示例；对于训练示例中的每一个：使用神经网络来处理该训练示例中的训练网络输入以生成输出序列；对于输出序列中的每个特定输出位置：识别包括在输出序列中的该特定输出位置之前的位置处的系统输出的词头；对于词汇中的每个可能系统输出，确定能够被指派给包括被该可能系统输出跟随的词头的任一个候选输出序列的最高质量分数；以及确定对网络参数当前值的更新，该更新提高神经网络生成在该位置处具有高质量分数的系统输出的似然性。

公开(公告)号：CN117561549A

公开(公告)日：2024-02-13

申请号：CN202380012461.8

申请日：2023-05-19

Applicant: 谷歌有限责任公司

Inventor： 基特万·萨哈里亚 ,  威廉·常 ,  穆罕默德·诺劳兹 ,  绍拉布·萨克塞纳 ,  李一 ,  杰伊·哈·黄 ,  戴维·詹姆斯·弗利特 ,  乔纳森·霍

IPC: G06V10/82

Abstract: 用于生成图像的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括：接收输入文本提示，该输入文本提示包括自然语言中的文本词元的序列；使用文本编码器神经网络处理输入文本提示以生成输入文本提示的上下文嵌入的集合；以及，通过生成神经网络的序列处理上下文嵌入，以生成描绘由输入文本提示描述的场景的最终输出图像。

公开(公告)号：CN115053235A

公开(公告)日：2022-09-13

申请号：CN202180012954.2

申请日：2021-02-08

Applicant: 谷歌有限责任公司

Inventor： 威廉·常 ,  基特万·萨哈里亚 ,  杰弗里·E·欣顿 ,  穆罕默德·诺劳兹 ,  纳夫迪普·贾伊特利

IPC: G06N3/04 ,  G06N3/08 ,  G06F40/45 ,  G10L15/12 ,  G10L15/16

Abstract: 一种用于序列建模的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。这些方法之一包括：接收具有多个输入位置的输入序列；确定连续输入位置的多个块；使用神经网络处理输入序列以生成潜在对准，在多个输入时间步中的每个输入时间步包括：从先前输入时间步接收部分潜在对准；选择每个块中的输入位置，其中在每个块中的部分潜在对准的所选择的输入位置处的语言符号是掩码语言符号；以及使用神经网络来处理部分潜在对准和输入序列以生成新潜在对准，其中新潜在对准在每个块中的所选择的输入位置处包括输出语言符号或空白语言符号；以及使用潜在对准来生成输出序列。