公开(公告)号：CN116227545A

公开(公告)日：2023-06-06

申请号：CN202210854702.0

申请日：2022-07-18

Applicant: 三星电子株式会社

Inventor： 崔彰仁 ,  金健熙 ,  金容德 ,  金明宇 ,  李承远 ,  奈良库乌·土乌辛贾格尔

IPC: G06N3/0464 ,  G06N3/063 ,  G06N3/082 ,  G06F18/214

Abstract: 公开了用于神经网络的分布式训练的训练方法和设备，所述训练设备包括：多个处理器，被配置为：各自接收与多个批中的对应批对应的多个数据，并且基于各自接收的与所述多个批中的对应批对应的数据来并行地执行训练，以各自生成神经网络的各个层的最终局部梯度；以及控制器，被配置为：接收所述多个处理器生成的各个层的最终局部梯度，基于接收的最终局部梯度来确定聚合梯度，并且基于聚合梯度来更新神经网络的参数。

公开(公告)号：CN116089058A

公开(公告)日：2023-05-09

申请号：CN202211103853.9

申请日：2022-09-09

Applicant: 三星电子株式会社

Inventor： 金明宇 ,  金容德 ,  奈良库乌·土乌辛贾格尔 ,  金健熙 ,  李承远 ,  崔彰仁

IPC: G06F9/50 ,  G06F18/214

Abstract: 提供了用于数据加载的方法和设备。所述方法包括：基于包括在训练数据集中的多个数据文件的大小将训练数据集划分为多个子集；基于所述多个子集中的每个中的所述多个子集中的数据文件的数量的比例和分布式训练的批量大小，将子集中的数据文件的一部分从子集加载到多个处理器；并且基于加载到所述多个处理器之中的同一组中的处理器的数据文件的大小，将加载的数据文件重新分配给所述同一组中的处理器。