-
公开(公告)号：CN114127702A
公开(公告)日：2022-03-01
申请号：CN202080051390.9
申请日：2020-06-09
Applicant: 微软技术许可有限责任公司
IPC: G06F15/177 , G06F15/163
Abstract: 本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以手动或自动地调节一组微批次或迷你批次的大小以减少通信开销。
Search Results
1
records
(took 0.021 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
