公开(公告)号：CN114127702A

公开(公告)日：2022-03-01

申请号：CN202080051390.9

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  G·波普里 ,  L·拉希德 ,  T·米特拉 ,  M·米塔尔 ,  M·梅斯马霍斯罗沙希

IPC: G06F15/177 ,  G06F15/163

Abstract: 本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以手动或自动地调节一组微批次或迷你批次的大小以减少通信开销。

公开(公告)号：CN115023685A

公开(公告)日：2022-09-06

申请号：CN202180011738.6

申请日：2021-01-20

Applicant: 微软技术许可有限责任公司

Inventor： L·拉希德 ,  S·M·库尔卡尼 ,  M·特伦布莱

IPC: G06F9/30

Abstract: 一种增加矩阵计算的计算机硬件效率的方法。方法包括在计算机处理机器处接收对矩阵计算的一个或多个运算进行编码的数字信号，每个运算包括一个或多个操作数。方法还包括：响应于由计算机处理机器的稀疏数据检查设备确定矩阵计算的运算包括所有密集操作数，将该运算转发给计算机处理机器的密集计算设备，密集计算设备被配置为基于密集操作数来执行矩阵计算的运算。方法还包括：响应于由稀疏数据检查设备确定矩阵计算的运算包括一个或多个稀疏操作数，将该运算转发给稀疏计算设备，稀疏计算设备被配置为执行矩阵计算的运算。