-
-
公开(公告)号：CN118642661B
公开(公告)日：2024-11-08
申请号：CN202411092481.3
申请日：2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。
-
公开(公告)号：CN118567791A
公开(公告)日：2024-08-30
申请号：CN202411044021.3
申请日：2024-07-31
Applicant: 之江实验室
Abstract: 本说明书提供的一种缓存方法、装置、存储介质以及电子设备，首先确定执行分布式模型训练任务所需的目标容器，以及，确定目标容器中训练程序执行分布式模型训练任务所需的目标训练数据集的路径信息，将路径信息与预设的缓存表中包含的各路径信息进行匹配，以判断目标训练数据集是否被缓存，若是，则从缓存表中确定出缓存目标训练数据集的计算节点的节点信息，以从缓存目标训练数据集的计算节点中获取目标训练数据集，并通过目标容器执行分布式模型训练任务，若否，则根据路径信息，从云端获取目标训练数据集，以通过获取的目标训练数据集，执行分布式模型训练任务。
-
公开(公告)号：CN118394282A
公开(公告)日：2024-07-26
申请号：CN202410849941.6
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括：获取各待存储的数据；根据每个数据所占用的存储空间，对各数据进行排序，并基于排序结果确定每个数据对应的数据编号，将存储设备的存储空间划分为若干个簇；针对每个数据，将该数据存储在与该数据所占用存储空间相匹配的块中；针对每个簇，根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小，生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率，进一步提升业务效率。
-
公开(公告)号：CN118379605A
公开(公告)日：2024-07-23
申请号：CN202410821436.0
申请日：2024-06-24
Applicant: 之江实验室
IPC: G06V10/96 , G06V10/94 , G06V10/82 , G06V10/44 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/0495 , G06N3/096
Abstract: 本说明书公开了一种图像识别大模型的部署方法、装置及存储介质，本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中，将所述分类器部署在异构存算一体芯片的数字架构核中，以降低能耗。通过获取样本图像，将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征。根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，提高图像识别大模型的精度。也就是说，通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中，降低能耗，对部署在数字架构核的分类器进行训练，提高图像识别大模型的精度。
-
Patent Agency Ranking
公开(公告)号：CN116501696A
公开(公告)日：2023-07-28
申请号：CN202310790835.0
申请日：2023-06-30
Applicant: 之江实验室
IPC: G06F16/13 , G06F16/172 , G06F16/901 , G06F18/214 , G06N20/00
Abstract: 本发明公开了一种适用于分布式深度学习训练预取缓存管理的方法和装置，包括：深度学习任务初始化时，初始化预取缓存空间；在深度学习训练任务每个轮次训练开始前，生成轮次的洗牌序列，按照该洗牌序列构建缓存索引；在深度学习训练任务进行训练时，根据缓存索引，从预取缓存空间中获取数据，若缓存未命中，则以存储节点为划分依据，到分布式存储中进行批量预取；在预取缓存空间已用容量达到指定阈值时启动缓存淘汰，淘汰掉缓存命中的数据。该方法和装置以存储节点为划分依据进行批量预取，减少了节点之间的通信次数，提高了通信效率，同时，对缓存命中的数据进行淘汰，使得缓存中都是即将命中的数据，提高了缓存命中率。
-
公开(公告)号：CN116136838A
公开(公告)日：2023-05-19
申请号：CN202310420302.3
申请日：2023-04-19
Applicant: 之江实验室
IPC: G06F16/172 , G06F16/11 , G06N20/00
Abstract: 本发明公开了一种深度学习训练数据集快速载入临时缓存方法和装置，该方法用于使用临时缓存对深度学习训练进行加速时，提升数据从远端共享存储载入本地高速存储模块的性能。本发明核心思想是根据共享存储IO特性以及计算节点并发规模，将数据集样本预先组织成合适大小的文件，以解决载入时的元数据热点问题，同时挖掘共享存储的大IO单元优势和高并发访问优势。方法包括三个模块：样本聚合模块，用于在共享存储中把原始样本文件重新组织成适合高速载入的文件；载入模块，用于在训练的初始化阶段把共享存储中经过重新组织的数据集文件加载到临时缓存；样本读取模块，用于在训练过程中从载入临时缓存的数据集中识别并读取训练样本。
-
公开(公告)号：CN115242782A
公开(公告)日：2022-10-25
申请号：CN202211148476.0
申请日：2022-09-21
Applicant: 之江实验室
IPC: H04L67/06
Abstract: 本发明涉及超级计算机的资源管理技术领域，公开一种超算中心间的大文件分片传输方法和传输架构，该方法包括：步骤一，收集超算中心间传包的文件数据，对其中作为发送方的超算中心进行初始化工作；步骤二，完成初始化工作后，发送方的超算中心获取初始状态，利用强化学习算法，动态调整文件数据的分片大小，后根据分片大小进行文件数据分片后传输给接收方的超算中心；步骤三，接收方的超算中心根据其接收状态，发送传输反馈给发送方的超算中心；步骤四，更新并判断剩余的文件数据的大小，以此判断文件数据是否传输完毕，若未传输完毕，则重复步骤二至步骤四，直至整个文件数据传输完成。本发明可以有效降低系统资源的浪费，提升整体的系统效率。
-
公开(公告)号：CN118567791B
公开(公告)日：2024-10-22
申请号：CN202411044021.3
申请日：2024-07-31
Applicant: 之江实验室
Abstract: 本说明书提供的一种缓存方法、装置、存储介质以及电子设备，首先确定执行分布式模型训练任务所需的目标容器，以及，确定目标容器中训练程序执行分布式模型训练任务所需的目标训练数据集的路径信息，将路径信息与预设的缓存表中包含的各路径信息进行匹配，以判断目标训练数据集是否被缓存，若是，则从缓存表中确定出缓存目标训练数据集的计算节点的节点信息，以从缓存目标训练数据集的计算节点中获取目标训练数据集，并通过目标容器执行分布式模型训练任务，若否，则根据路径信息，从云端获取目标训练数据集，以通过获取的目标训练数据集，执行分布式模型训练任务。
-
公开(公告)号：CN118378726B
公开(公告)日：2024-09-20
申请号：CN202410830397.0
申请日：2024-06-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备，可以通过前向梯度传播的方式，即，在前向传播过程中，针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值，计算该网络层的梯度值，并基于该网络层的梯度值对该网络层的模型参数进行调整，从而可以使得在通过中央处理器确定每层网络层的模型参数后，即可将上一层网络层的输出值以及该网络层的梯度值删除，进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。
-
-
-
-
-
-
-
-
-
Search Results
25
records
(took 0.026 seconds)
