-
公开(公告)号：CN118690209B
公开(公告)日：2025-01-28
申请号：CN202411168953.9
申请日：2024-08-23
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/25 , G06F18/214 , G06F18/241 , G06N3/098
Abstract: 本说明书公开了一种分布式模型训练、业务执行方法、存储介质及设备，可以获取预设的本地分类模型对各本地训练数据进行分类后所输出的每种分类结果对应的特征表示原型，将每种分类结果对应的特征表示原型以及本地分类模型的模型参数发送给中心服务器，以使中心服务器根据各下游设备发送的特征表示原型，确定每种分类结果对应的整体特征表示原型，以及，将各下游设备发送的模型参数融合，得到融合模型参数，进而可以通过对比学习的方式，根据中心服务器确定出的每种分类结果对应的整体特征表示原型，对本地分类模型进行训练，以提升联邦学习的训练效果。
-
公开(公告)号：CN119294274A
公开(公告)日：2025-01-10
申请号：CN202411832029.6
申请日：2024-12-12
Applicant: 之江实验室
IPC: G06F30/27 , G06N20/00 , G06F111/04
Abstract: 本说明书公开了一种深度学习加速器软硬件协同方法及装置，在此方法中，通过软件优化器基于初始硬件参数配置样本，确定候选模型运行信息后，通过硬件优化器，基于候选模型运行信息对应的任务效率表征值，确定下轮迭代的初始硬件参数配置样本，若监测到到达预设轮次后前后两轮所对应的初始硬件参数配置样本对应的任务效率表征值之间的偏差小于预设偏差，则将满足预设迭代条件时得到的初始硬件参数配置样本，作为目标硬件参数配置，以及将软件优化器基于目标硬件参数配置所确定的候选模型运行信息对应的候选模型运行方式，作为目标模型运行方式。通过多轮迭代对软件和硬件不断进行协同配置，以实现针对给定模型集合的最优加速器规格参数。
-
公开(公告)号：CN118313429B
公开(公告)日：2024-10-11
申请号：CN202410763197.8
申请日：2024-06-13
Applicant: 之江实验室
Abstract: 本申请涉及一种模型训练显存优化方法、装置、电子装置和存储介质，其中，该模型训练显存优化方法包括：获取模型原始参数，将模型原始参数进行备份，得到备份参数；根据模型结构确定候选暂退的模型连接；对候选暂退的模型连接不分配显存，并为除候选暂退的模型连接之外的其他模型连接分配显存；执行循环训练过程直至达到预设的训练终止条件，得到目标训练模型；循环训练过程包括：根据预设的暂退比例，对候选暂退的模型连接进行随机暂退后，得到目标连接；根据目标连接，从备份参数中复制参数进行半精度训练，得到半精度参数梯度；根据半精度参数梯度更新备份参数，提高了模型训练中显存的利用率和训练速度。
-
公开(公告)号：CN118690209A
公开(公告)日：2024-09-24
申请号：CN202411168953.9
申请日：2024-08-23
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/25 , G06F18/214 , G06F18/241 , G06N3/098
Abstract: 本说明书公开了一种分布式模型训练、业务执行方法、存储介质及设备，可以获取预设的本地分类模型对各本地训练数据进行分类后所输出的每种分类结果对应的特征表示原型，将每种分类结果对应的特征表示原型以及本地分类模型的模型参数发送给中心服务器，以使中心服务器根据各下游设备发送的特征表示原型，确定每种分类结果对应的整体特征表示原型，以及，将各下游设备发送的模型参数融合，得到融合模型参数，进而可以通过对比学习的方式，根据中心服务器确定出的每种分类结果对应的整体特征表示原型，对本地分类模型进行训练，以提升联邦学习的训练效果。
-
公开(公告)号：CN118468045B
公开(公告)日：2024-09-24
申请号：CN202410937902.1
申请日：2024-07-12
Applicant: 之江实验室
IPC: G06F18/214 , G06N3/0442 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质，本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块，利用特征重构模块，对训练样本被访问信息的特征参数进行特征重构，使得存储层级预测模型充分学习被访问信息的特征。之后，利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么，将重构特征输入长短期记忆网络模块，得到预测结果。根据预测结果及标签，对存储层级预测模型进行训练，提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率，进而提高了上级缓存命中率，加速目标模型训练。
-
Patent Agency Ranking
公开(公告)号：CN118570560A
公开(公告)日：2024-08-30
申请号：CN202411044024.7
申请日：2024-07-31
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/778
Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。
-
公开(公告)号：CN118377436A
公开(公告)日：2024-07-23
申请号：CN202410821445.X
申请日：2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。
-
公开(公告)号：CN118334278A
公开(公告)日：2024-07-12
申请号：CN202410779806.9
申请日：2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中，针对三维空间的每个维度，按照该维度的坐标大小，依次针对该维度的每个网格截面，确定该网格截面中标记网格的数量，与前一网格截面中标记网格的数量之间的差值，并通过预设范围，确定该维度的划分面，进而基于确定出的各划分面，得到该三维空间的划分结果，即基于点云数据所在标记网格的分布，实现了三维空间的划分，避免了相邻点云数据所在的标记网格被划分到不同三维子空间中，从而提高了基于该划分结果下的点云数据，通过预测模型，确定目标预测结果的预测效率。
-
公开(公告)号：CN118313429A
公开(公告)日：2024-07-09
申请号：CN202410763197.8
申请日：2024-06-13
Applicant: 之江实验室
Abstract: 本申请涉及一种模型训练显存优化方法、装置、电子装置和存储介质，其中，该模型训练显存优化方法包括：获取模型原始参数，将模型原始参数进行备份，得到备份参数；根据模型结构确定候选暂退的模型连接；对候选暂退的模型连接不分配显存，并为除候选暂退的模型连接之外的其他模型连接分配显存；执行循环训练过程直至达到预设的训练终止条件，得到目标训练模型；循环训练过程包括：根据预设的暂退比例，对候选暂退的模型连接进行随机暂退后，得到目标连接；根据目标连接，从备份参数中复制参数进行半精度训练，得到半精度参数梯度；根据半精度参数梯度更新备份参数，提高了模型训练中显存的利用率和训练速度。
-
公开(公告)号：CN117649568B
公开(公告)日：2024-05-03
申请号：CN202410128337.4
申请日：2024-01-30
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/762 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/082
Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中，通过获取训练完成的图像分类卷积神经网络以及输入图像，将输入图像输入该图像分类卷积神经网络中，确定各节点的参数以及各节点输出的该输入图像的激活特征，针对每一网络层，根据该网络层的各节点的参数和激活特征，确定核心参数和核心激活特征，并得到参数聚类结果和激活特征聚类结果，进而确定综合聚类结果，根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果，确定综合聚类结果，综合考虑了图像分类卷积神经网络的参数相似性和激活模式，考虑更全面，有效地减少了图像分类卷积神经网络的复杂性。
-
-
-
-
-
-
-
-
-
Search Results
273
records
(took 0.038 seconds)
