-
-
公开(公告)号：CN118396140B
公开(公告)日：2024-09-13
申请号：CN202410849948.8
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。
-
公开(公告)号：CN117909371B
公开(公告)日：2024-06-28
申请号：CN202410308246.9
申请日：2024-03-18
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/23 , G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。在此方法中，每轮训练时，确定对目标模型执行该轮训练任务时所要使用的训练样本的数据标识，并判断要使用的训练样本的数据标识是否存储在预设的数据列表中，若是，则从预设的缓存中查询该数据标识对应的训练样本，通过获取到的训练样本对目标模型进行训练，否则，根据该数据标识向预设的数据库发送数据获取请求，并通过获取到的训练样本对目标模型进行训练，根据该轮训练时使用的训练样本的使用次数，对预设的数据列表中存储的数据标识进行更新，以根据更新后的数据列表，对预设的缓存中的训练样本进行更新，并通过预设的缓存中更新后的训练样本，对目标模型进行下一轮训练。
-
公开(公告)号：CN118377436B
公开(公告)日：2024-09-13
申请号：CN202410821445.X
申请日：2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。
-
公开(公告)号：CN118334278B
公开(公告)日：2024-08-27
申请号：CN202410779806.9
申请日：2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中，针对三维空间的每个维度，按照该维度的坐标大小，依次针对该维度的每个网格截面，确定该网格截面中标记网格的数量，与前一网格截面中标记网格的数量之间的差值，并通过预设范围，确定该维度的划分面，进而基于确定出的各划分面，得到该三维空间的划分结果，即基于点云数据所在标记网格的分布，实现了三维空间的划分，避免了相邻点云数据所在的标记网格被划分到不同三维子空间中，从而提高了基于该划分结果下的点云数据，通过预测模型，确定目标预测结果的预测效率。
-
Patent Agency Ranking
公开(公告)号：CN117873789B
公开(公告)日：2024-05-10
申请号：CN202410287649.X
申请日：2024-03-13
Applicant: 之江实验室
Abstract: 在本说明书提供的一种基于分段量化的检查点写入方法及装置中，获取待写入的模型状态，并针对该模型状态中每个向量值，确定该向量值中数值的取值范围以及初始量化位宽，通过分段数量对该向量值进行分段，并针对该向量值中每个数值，确定该数值的所属分段以及该所属分段的分段取值范围，进而对该数值进行量化，根据量化后的各数值，确定量化后的该向量值，并写入检查点文件，该检查点文件用于模型的模型状态恢复。通过分段数量对该向量值进行分段，以及通过精准划分各所属分段的分段取值范围，再对各数值进行量化，在减少存储需求的同时，降低了数值量化的精度损失，并将各量化后的向量值全量写入检查点文件，减少恢复模型状态的复杂性。
-
公开(公告)号：CN117909371A
公开(公告)日：2024-04-19
申请号：CN202410308246.9
申请日：2024-03-18
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/23 , G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。在此方法中，每轮训练时，确定对目标模型执行该轮训练任务时所要使用的训练样本的数据标识，并判断要使用的训练样本的数据标识是否存储在预设的数据列表中，若是，则从预设的缓存中查询该数据标识对应的训练样本，通过获取到的训练样本对目标模型进行训练，否则，根据该数据标识向预设的数据库发送数据获取请求，并通过获取到的训练样本对目标模型进行训练，根据该轮训练时使用的训练样本的使用次数，对预设的数据列表中存储的数据标识进行更新，以根据更新后的数据列表，对预设的缓存中的训练样本进行更新，并通过预设的缓存中更新后的训练样本，对目标模型进行下一轮训练。
-
公开(公告)号：CN117312394A
公开(公告)日：2023-12-29
申请号：CN202311481292.0
申请日：2023-11-08
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/22 , G06F18/214 , G06F18/30 , G06N3/063
Abstract: 本说明书公开了一种数据访问方法、装置、存储介质及电子设备，通过第一缓存和第二缓存分别缓存原始样本和处理样本，当接受到模型训练请求后，随机确定一个样本标识，根据样本标识在第一缓存和第二缓存中寻找该样本标识对应的训练样本。若第一缓存和第二缓存均未被命中时，在第一缓存和第二缓存中确定未被命中过的训练样本中选择一个并返回，经增强计算后确定最终增强样本，用于模型训练。若第一缓存和第二缓存中的训练样本均被命中时，从存储器中获取一个训练样本返回。本方法在保证了训练样本选择的随机性的情况下，提高了缓存命中率，减少CPU冗余计算，并减少了对输入输出接口资源的调用，使得训练过程耗时减少，效率增高。
-
-
公开(公告)号：CN118570560B
公开(公告)日：2024-09-27
申请号：CN202411044024.7
申请日：2024-07-31
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/778
Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.051 seconds)
