公开(公告)号：CN115668217A

公开(公告)日：2023-01-31

申请号：CN202180037134.9

申请日：2021-04-21

Applicant: 微软技术许可有限责任公司

Inventor： A·瓦格纳 ,  T·米特拉 ,  M·特伦布莱

IPC: G06N3/02 ,  G06F40/216 ,  G06F40/284

Abstract: 本公开的实施例包括使用位置掩码训练变换器模型的系统和方法。在一些实施例中，接收用于训练变换器模型的数据集。数据集包括令牌序列和位置值集合。位置值集合中的每个位置值表示令牌在令牌序列中相对于其他令牌的位置。选择数据集中的位置值集合的子集。位置值集合的子集中的每个位置值都将替换为第二定义值，以形成第二组定义值。使用得到的数据集训练变换器模型。

公开(公告)号：CN114402293A

公开(公告)日：2022-04-26

申请号：CN202080065102.5

申请日：2020-06-18

Applicant: 微软技术许可有限责任公司

Inventor： A·瓦格纳 ,  T·米特拉 ,  S·M·库尔卡尼 ,  M·特伦布莱 ,  S·S·巴拉德瓦杰

IPC: G06F9/50 ,  G06N3/04 ,  G06N3/08

Abstract: 描述了用于具有持续且异步更新的流水线式神经网络处理的系统和方法。用于处理包括L个层(其中L是大于2的整数)的神经网络的方法包括：在一组计算资源之中划分L个层，该一组计算资源被配置成处理与L个层中的每个层相关联的前向传递和反向传递。方法还包括：使用一组计算资源，发起前向传递和反向传递的处理。方法还包括：在完成与L个层中的第一层相关联的第一组前向传递和第一组反向传递后，当梯度对更新与第一层相关联的参数可用时，发起与第一层相关联的参数的更新，而无需等待计算与L个层中的其余任何层相关联的梯度。

公开(公告)号：CN114341882A

公开(公告)日：2022-04-12

申请号：CN202080061568.8

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普蒂佩迪 ,  M·特伦布莱

IPC: G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 提供了用于压缩值的系统、方法和装置。可以从存储器中获取多个参数，每个参数包括在模型中的人工神经元或节点之间的关系中使用的浮点数。可以从每个浮点数提取尾数值和指数值以生成尾数值集和指数值集。可以压缩该尾数值集以生成尾数查找表(LUT)和多个尾数LUT索引值。可以对该指数值集进行编码以生成指数LUT和多个指数LUT索引值。可以向一个或多个处理实体提供尾数LUT、尾数LUT索引值、指数LUT和指数LUT索引值，以训练模型。

公开(公告)号：CN114127740A

公开(公告)日：2022-03-01

申请号：CN202080051343.4

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  S·S·布哈拉德瓦杰 ,  D·帕特尔 ,  奚锦文 ,  M·梅斯马霍斯罗沙希

IPC: G06N3/04 ,  G06N3/063

Abstract: 本文中描述了启用大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行的方法、系统、装置和计算机程序产品，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以调节一组微批次或迷你批次的大小以减少通信开销。可以在参数服务器和目标设备处执行多级并行的参数缩减。

公开(公告)号：CN114127702A

公开(公告)日：2022-03-01

申请号：CN202080051390.9

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  G·波普里 ,  L·拉希德 ,  T·米特拉 ,  M·米塔尔 ,  M·梅斯马霍斯罗沙希

IPC: G06F15/177 ,  G06F15/163

Abstract: 本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以手动或自动地调节一组微批次或迷你批次的大小以减少通信开销。

公开(公告)号：CN104737497B

公开(公告)日：2019-06-18

申请号：CN201380054347.8

申请日：2013-10-18

Applicant: 微软技术许可有限责任公司

Inventor： M·E·麦伯格 ,  G·德让 ,  L·E·格林韦德 ,  M·特伦布莱

IPC: H04L12/24

CPC classification number: G06F9/5061 ,  G06F2209/509

Abstract: 一种传感器和处理系统基于可用通信能力在各个远程传感器节点与处理子系统之间动态地划分功能。冗余功能位于处理子系统以及各个远程传感器节点中的每一者处，并且每一传感器节点与处理子系统协调以确定执行特定功能的位置(例如，在处理子系统处还是在传感器节点处)。