公开(公告)号：CN116560585B

公开(公告)日：2024-04-09

申请号：CN202310819451.7

申请日：2023-07-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 沈春杰 ,  白墨琛 ,  陆江涛 ,  张吉 ,  韩旭东

IPC: G06F3/06

Abstract: 说明书实施例提供一种数据分级存储方法和系统，涉及数据存储技术，其要点包括：基于向第一存储区域发起的对目标数据的访问请求以及所述目标数据的历史访问频次，获得所述目标数据的当前访问频次；第一存储区域中的数据从第二存储区域迁入，且具有历史访问频次标记，历史访问频次标记反映相应数据从第一存储区域被请求访问的历史次数；当所述当前访问频次大于缓存阈值时，将目标数据保留在第一存储区域或从第二存储区域迁入第一存储区域，以及基于所述目标数据的当前访问频次更新其历史访问频次标记；所述第一存储区域具有大于所述第二存储区域的数据传输带宽。

公开(公告)号：CN117407713A

公开(公告)日：2024-01-16

申请号：CN202311346413.0

申请日：2023-10-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张吉 ,  章海涛

IPC: G06F18/214 ,  G06N3/098

Abstract: 本公开提供一种分布式模型训练的训练管理方法、装置、系统、设备及存储介质，管理程序用于管理执行分布式训练的多个训练任务，多个训练任务分别基于用户配置的初始训练配置信息，针对目标模型进行分布式训练；在对所述目标模型进行分布式训练的过程中，获取所述多个训练任务针对所述目标模型进行分布式训练的训练状态，并基于所述训练状态决策是否需要对所述初始训练配置信息进行更新；如果是，获取用户指定的目标训练配置信息，将所述目标训练配置信息分别下发至所述多个训练任务，以触发所述多个训练任务基于所述目标训练配置信息将与自身对应的初始训练配置信息进行更新后重新运行，以继续对所述目标模型进行分布式训练。

公开(公告)号：CN116090584A

公开(公告)日：2023-05-09

申请号：CN202310096352.0

申请日：2023-01-31

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 沙剑 ,  张吉

IPC: G06N20/00

Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及设备。当前节点与其他节点基于不同的训练样本，通过待训练模型确定输出，以各自根据输出计算待训练模型的稠密参数的梯度，以及稀疏参数的梯度。各节点交互自身计算得到的梯度后，基于稠密参数对应的梯度更新稠密参数，并各自基于稀疏参数对应的梯度，更新自身所需更新的稀疏参数。不同节点所需更新的稀疏参数不完全相同。更新参数后，当前节点根据更新后的稠密参数以及稀疏参数，继续联合其他节点对待训练模型进行分布式训练。能够通过分布式训练，采用不同的方式，分别对待训练模型的稀疏参数及稠密参数进行同步更新，提升模型的训练效率。

公开(公告)号：CN117395258A

公开(公告)日：2024-01-12

申请号：CN202311204314.9

申请日：2023-09-18

Applicant: 支付宝(杭州)信息技术有限公司 ,  清华大学

Inventor： 张博文 ,  向东 ,  沙剑 ,  张吉

IPC: H04L67/104 ,  G06F9/50 ,  H04L67/1023 ,  H04L67/288 ,  H04L67/563 ,  H04L67/10

Abstract: 本说明书实施例提供一种全局规约方法和系统，适用于含分组网络，所述网络包括计算层，计算层包括两个以上计算组，且每个计算组包含两个以上计算节点，所述方法包括：在每个计算组内执行局部规约，以使得每个计算组内的至少一个计算节点得到待规约数据的组内规约结果；在组间执行全局规约，以使得各计算组内的至少一个计算节点得到待规约数据的全局规约结果；在每个计算组内执行结果传播，以使得各计算组内的每个计算节点得到待规约数据的全局规约结果。

公开(公告)号：CN116560585A

公开(公告)日：2023-08-08

申请号：CN202310819451.7

申请日：2023-07-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 沈春杰 ,  白墨琛 ,  陆江涛 ,  张吉 ,  韩旭东

IPC: G06F3/06

Abstract: 说明书实施例提供一种数据分级存储方法和系统，涉及数据存储技术，其要点包括：基于向第一存储区域发起的对目标数据的访问请求以及所述目标数据的历史访问频次，获得所述目标数据的当前访问频次；第一存储区域中的数据从第二存储区域迁入，且具有历史访问频次标记，历史访问频次标记反映相应数据从第一存储区域被请求访问的历史次数；当所述当前访问频次大于缓存阈值时，将目标数据保留在第一存储区域或从第二存储区域迁入第一存储区域，以及基于所述目标数据的当前访问频次更新其历史访问频次标记；所述第一存储区域具有大于所述第二存储区域的数据传输带宽。