-
公开(公告)号：CN118468045A
公开(公告)日：2024-08-09
申请号：CN202410937902.1
申请日：2024-07-12
Applicant: 之江实验室
IPC: G06F18/214 , G06N3/0442 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质，本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块，利用特征重构模块，对训练样本被访问信息的特征参数进行特征重构，使得存储层级预测模型充分学习被访问信息的特征。之后，利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么，将重构特征输入长短期记忆网络模块，得到预测结果。根据预测结果及标签，对存储层级预测模型进行训练，提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率，进而提高了上级缓存命中率，加速目标模型训练。
-
公开(公告)号：CN118468045B
公开(公告)日：2024-09-24
申请号：CN202410937902.1
申请日：2024-07-12
Applicant: 之江实验室
IPC: G06F18/214 , G06N3/0442 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质，本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块，利用特征重构模块，对训练样本被访问信息的特征参数进行特征重构，使得存储层级预测模型充分学习被访问信息的特征。之后，利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么，将重构特征输入长短期记忆网络模块，得到预测结果。根据预测结果及标签，对存储层级预测模型进行训练，提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率，进而提高了上级缓存命中率，加速目标模型训练。
-
公开(公告)号：CN118570560A
公开(公告)日：2024-08-30
申请号：CN202411044024.7
申请日：2024-07-31
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/778
Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。
-
公开(公告)号：CN118377436A
公开(公告)日：2024-07-23
申请号：CN202410821445.X
申请日：2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。
-
公开(公告)号：CN118334278A
公开(公告)日：2024-07-12
申请号：CN202410779806.9
申请日：2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中，针对三维空间的每个维度，按照该维度的坐标大小，依次针对该维度的每个网格截面，确定该网格截面中标记网格的数量，与前一网格截面中标记网格的数量之间的差值，并通过预设范围，确定该维度的划分面，进而基于确定出的各划分面，得到该三维空间的划分结果，即基于点云数据所在标记网格的分布，实现了三维空间的划分，避免了相邻点云数据所在的标记网格被划分到不同三维子空间中，从而提高了基于该划分结果下的点云数据，通过预测模型，确定目标预测结果的预测效率。
-
Patent Agency Ranking
公开(公告)号：CN117873789A
公开(公告)日：2024-04-12
申请号：CN202410287649.X
申请日：2024-03-13
Applicant: 之江实验室
Abstract: 在本说明书提供的一种基于分段量化的检查点写入方法及装置中，获取待写入的模型状态，并针对该模型状态中每个向量值，确定该向量值中数值的取值范围以及初始量化位宽，通过分段数量对该向量值进行分段，并针对该向量值中每个数值，确定该数值的所属分段以及该所属分段的分段取值范围，进而对该数值进行量化，根据量化后的各数值，确定量化后的该向量值，并写入检查点文件，该检查点文件用于模型的模型状态恢复。通过分段数量对该向量值进行分段，以及通过精准划分各所属分段的分段取值范围，再对各数值进行量化，在减少存储需求的同时，降低了数值量化的精度损失，并将各量化后的向量值全量写入检查点文件，减少恢复模型状态的复杂性。
-
公开(公告)号：CN118378726B
公开(公告)日：2024-09-20
申请号：CN202410830397.0
申请日：2024-06-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备，可以通过前向梯度传播的方式，即，在前向传播过程中，针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值，计算该网络层的梯度值，并基于该网络层的梯度值对该网络层的模型参数进行调整，从而可以使得在通过中央处理器确定每层网络层的模型参数后，即可将上一层网络层的输出值以及该网络层的梯度值删除，进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。
-
公开(公告)号：CN118396140A
公开(公告)日：2024-07-26
申请号：CN202410849948.8
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。
-
公开(公告)号：CN118378726A
公开(公告)日：2024-07-23
申请号：CN202410830397.0
申请日：2024-06-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练系统、方法、存储介质及电子设备，可以通过前向梯度传播的方式，即，在前向传播过程中，针对待训练模型的每层网络层的输出值和在待训练模型中位于该网络层的上一网络层的输出值，计算该网络层的梯度值，并基于该网络层的梯度值对该网络层的模型参数进行调整，从而可以使得在通过中央处理器确定每层网络层的模型参数后，即可将上一层网络层的输出值以及该网络层的梯度值删除，进而可以有效减少针对待训练模型进行训练过程中对于存储资源的占用。
-
公开(公告)号：CN117312394B
公开(公告)日：2024-03-05
申请号：CN202311481292.0
申请日：2023-11-08
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/22 , G06F18/214 , G06F18/30 , G06N3/063
Abstract: 本说明书公开了一种数据访问方法、装置、存储介质及电子设备，通过第一缓存和第二缓存分别缓存原始样本和处理样本，当接受到模型训练请求后，随机确定一个样本标识，根据样本标识在第一缓存和第二缓存中寻找该样本标识对应的训练样本。若第一缓存和第二缓存均未被命中时，在第一缓存和第二缓存中确定未被命中过的训练样本中选择一个并返回，经增强计算后确定最终增强样本，用于模型训练。若第一缓存和第二缓存中的训练样本均被命中时，从存储器中获取一个训练样本返回。本方法在保证了训练样本选择的随机性的情况下，提高了缓存命中率，减少CPU冗余计算，并减少了对输入输出接口资源的调用，使得训练过程耗时减少，效率增高。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.028 seconds)
