公开(公告)号：CN120011112A

公开(公告)日：2025-05-16

申请号：CN202510488492.1

申请日：2025-04-18

Applicant: 之江实验室

Inventor： 周方 ,  何水兵 ,  吴建斌 ,  秦亦 ,  俞圣亮 ,  赖彦名 ,  李勇 ,  余冬冬 ,  赵玉婷

IPC: G06F9/54 ,  G06F9/50 ,  G06F9/48

Abstract: 本说明书公开了一种跨集群数据处理方法及装置。所述方法包括：将各计算节点所存储的第一结果数据拆分为多个数据切片；按照每个数据切片在第一结果数据中的先后顺序，依次将各数据切片从各计算节点发送给第一计算集群的主机内存，以使主机内存对已接收的数据切片和第二计算集群的主机内存中存储的数据切片进行规约计算，得到已接收的数据切片对应的第二结果数据；控制主机内存在接收后续的数据切片的同时，将第二结果数据从第一计算集群的主机内存发送给每个已接收的数据切片对应的计算节点；在各计算节点接收到全部数据切片对应的第二结果数据后，得到目标计算结果。本方案提高了跨集群通信效率，进一步提高了跨集群数据处理效率。

公开(公告)号：CN117215973A

公开(公告)日：2023-12-12

申请号：CN202311179609.5

申请日：2023-09-13

Applicant: 之江实验室

Inventor： 周方 ,  赵伟驰 ,  吴建斌 ,  方启明 ,  周超

IPC: G06F12/084 ,  G06N3/098

Abstract: 本申请涉及一种缓存数据的处理方法、深度学习训练方法和系统。应用于本地节点，本地节点连接远程节点以及服务器，本地节点设置有本地命中缓存区和本地淘汰缓存区：从本地命中缓存区中读取第一已缓存数据，并得到当前读取数据；其中，第一已缓存数据包括已分配至本地节点并缓存在本地命中缓存区的第一历史训练数据，以及本地节点从远程节点预读取并缓存至本地命中缓存区的第二历史训练数据；在服务器基于当前读取数据生成深度学习模型的情况下，本地节点将当前读取数据转移至淘汰缓存区中，得到第二已缓存数据。采用本方法能够提高深度学习训练的效率。

公开(公告)号：CN117215973B

公开(公告)日：2024-05-28

申请号：CN202311179609.5

申请日：2023-09-13

Applicant: 之江实验室

Inventor： 周方 ,  赵伟驰 ,  吴建斌 ,  方启明 ,  周超

IPC: G06F12/084 ,  G06N3/098

Abstract: 本申请涉及一种缓存数据的处理方法、深度学习训练方法和系统。应用于本地节点，本地节点连接远程节点以及服务器，本地节点设置有本地命中缓存区和本地淘汰缓存区：从本地命中缓存区中读取第一已缓存数据，并得到当前读取数据；其中，第一已缓存数据包括已分配至本地节点并缓存在本地命中缓存区的第一历史训练数据，以及本地节点从远程节点预读取并缓存至本地命中缓存区的第二历史训练数据；在服务器基于当前读取数据生成深度学习模型的情况下，本地节点将当前读取数据转移至淘汰缓存区中，得到第二已缓存数据。采用本方法能够提高深度学习训练的效率。