-
公开(公告)号:CN117130693A
公开(公告)日:2023-11-28
申请号:CN202311397785.6
申请日:2023-10-26
Applicant: 之江实验室
Abstract: 本申请涉及一种张量卸载方法、装置、计算机设备及存储介质。所述方法包括:获取张量特征信息,所述张量特征信息包括待训练模型每层的显存容量需求、计算间隔以及计算延迟信息;基于预设卸载策略和所述显存容量需求确定显存约束条件,基于所述预设卸载策略和计算间隔确定卸载时间约束条件,所述预设卸载策略包括主存卸载和重计算卸载;基于所述显存约束条件和卸载时间约束条件筛选所述预设卸载策略,确定多个候选卸载策略;基于所述计算延迟信息确定每个候选卸载策略的额外计算延迟,基于所述额外计算延迟确定目标卸载策略,并基于所述目标卸载策略卸载张量。本申请在对模型训练精度影响较小或无影响的情况下,通过张量卸载来增加显存的有效容量。
-
公开(公告)号:CN116436962A
公开(公告)日:2023-07-14
申请号:CN202310376290.9
申请日:2023-03-31
Applicant: 之江实验室
IPC: H04L67/2885 , H04L67/10
Abstract: 面向DFS的全局聚合命名空间下跨计算节点的持久性缓存方法,包括:所有计算节点能按需访问存储在宿主计算节点、远端计算节点或数据存储服务器的任意文件;计算节点根据任务需求和元数据服务器给出的文件布局信息,通过策略引擎预设的缓存预取策略,反向使用条带化技术,根据缓存类型需求,将相关文件从数据存储服务器端复制或迁移到相应的多个计算节点本地持久性缓存设备;当缓存在多个计算节点的数据满足预设条件时,通过策略引擎预设的缓存替换或驱逐策略,将对相关计算节点端数据进行替换或驱逐到数据存储服务器端;根据待操作的相关文件是否已经缓存到对应计算节点本地持久性存储器中的情形,协同完成相关操作。
-
公开(公告)号:CN117077726A
公开(公告)日:2023-11-17
申请号:CN202311344094.X
申请日:2023-10-17
Applicant: 之江实验室
Abstract: 本申请公开了一种生成存内计算神经网络模型的方法,首先根据待构建的神经网络模型的目标任务,根据历史执行所述目标任务的任务数据作为训练样本,以及将目标任务的执行结果作为标注,之后通过对量化可微超网络的模型结构进行初始化,确定模型各节点之间数据传递顺序的有向无环图,确定架构参数以及权重参数,依该有向无环图的顺序,通过训练样本对权重参数进行调整,然后通过调整后的权重参数配置的模型,调整架构参数,得到存内运行的神经网络模型。通过权值继承,实现了可交替优化的两种参数,分别通过有监督训练和启发式学习进行调整,使得可以更为高效的学习深度神经网络架构。
-
公开(公告)号:CN116721399B
公开(公告)日:2023-11-14
申请号:CN202310925867.7
申请日:2023-07-26
Applicant: 之江实验室
IPC: G06V20/56 , G06V20/58 , G06V20/70 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0495 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种量化感知训练的点云目标检测方法及装置,可以获取训练样本,将训练样本中的点云样本数据输入到全精度网络中,得到目标检测结果,以对全精度网络进行训练,得到训练后的全精度网络,而后,将训练后的全精度网络进行模型量化,得到量化后网络,量化后网络的参数精度低于全精度网络的参数精度,而后,将训练样本输入到量化后网络中,得到量化后网络得到的目标检测结果,根据标注信息和目标检测结果,对量化后网络进行参数微调训练,得到训练后的量化后网络,最后,将训练后的量化后网络部署在无人驾驶设备中,以使无人驾驶设备通过量化后网络进行点云目标检测,从而在保证准确性的情况下提高了无人驾驶设备的点云检测效率。
-
公开(公告)号:CN116185307A
公开(公告)日:2023-05-30
申请号:CN202310448220.X
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
公开(公告)号:CN118690209B
公开(公告)日:2025-01-28
申请号:CN202411168953.9
申请日:2024-08-23
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/25 , G06F18/214 , G06F18/241 , G06N3/098
Abstract: 本说明书公开了一种分布式模型训练、业务执行方法、存储介质及设备,可以获取预设的本地分类模型对各本地训练数据进行分类后所输出的每种分类结果对应的特征表示原型,将每种分类结果对应的特征表示原型以及本地分类模型的模型参数发送给中心服务器,以使中心服务器根据各下游设备发送的特征表示原型,确定每种分类结果对应的整体特征表示原型,以及,将各下游设备发送的模型参数融合,得到融合模型参数,进而可以通过对比学习的方式,根据中心服务器确定出的每种分类结果对应的整体特征表示原型,对本地分类模型进行训练,以提升联邦学习的训练效果。
-
公开(公告)号:CN118690209A
公开(公告)日:2024-09-24
申请号:CN202411168953.9
申请日:2024-08-23
Applicant: 之江实验室
IPC: G06F18/22 , G06F18/25 , G06F18/214 , G06F18/241 , G06N3/098
Abstract: 本说明书公开了一种分布式模型训练、业务执行方法、存储介质及设备,可以获取预设的本地分类模型对各本地训练数据进行分类后所输出的每种分类结果对应的特征表示原型,将每种分类结果对应的特征表示原型以及本地分类模型的模型参数发送给中心服务器,以使中心服务器根据各下游设备发送的特征表示原型,确定每种分类结果对应的整体特征表示原型,以及,将各下游设备发送的模型参数融合,得到融合模型参数,进而可以通过对比学习的方式,根据中心服务器确定出的每种分类结果对应的整体特征表示原型,对本地分类模型进行训练,以提升联邦学习的训练效果。
-
公开(公告)号:CN118334278A
公开(公告)日:2024-07-12
申请号:CN202410779806.9
申请日:2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中,针对三维空间的每个维度,按照该维度的坐标大小,依次针对该维度的每个网格截面,确定该网格截面中标记网格的数量,与前一网格截面中标记网格的数量之间的差值,并通过预设范围,确定该维度的划分面,进而基于确定出的各划分面,得到该三维空间的划分结果,即基于点云数据所在标记网格的分布,实现了三维空间的划分,避免了相邻点云数据所在的标记网格被划分到不同三维子空间中,从而提高了基于该划分结果下的点云数据,通过预测模型,确定目标预测结果的预测效率。
-
公开(公告)号:CN117077817A
公开(公告)日:2023-11-17
申请号:CN202311328295.0
申请日:2023-10-13
Applicant: 之江实验室
IPC: G06N20/00 , G06N3/098 , G06F18/214 , G06F18/23213 , G06F18/25 , G06F18/22
Abstract: 本说明书公开了一种基于标签分布的个性化联邦学习模型训练方法及装置。所述任务执行方法包括:根据获取到的目标模型的初始化模型参数,针对每个客户端,将初始化模型参数发送给该客户端,以使该客户端在本地部署待训练模型,并通过该客户端的本地数据,对待训练模型进行训练,并获取各客户端训练更新后的模型参数,以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布,以得到每个客户端对应的客户端簇。针对每个客户端,融合该客户端对应的客户端簇中包含的各客户端发送的更新后的模型参数,并将融合后参数下发给该客户端,以使该客户端根据所述融合后参数,对本地部署的待训练模型进行参数更新,以通过更新后的模型执行目标任务。
-
公开(公告)号:CN116185307B
公开(公告)日:2023-07-04
申请号:CN202310448220.X
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
-
-
-
-
-
-
-
-