-
公开(公告)号：CN114237918B
公开(公告)日：2022-05-27
申请号：CN202210183223.0
申请日：2022-02-28
Applicant: 之江实验室
Abstract: 本发明公开了一种面向神经网络模型计算的图执行方法和装置，包括根据深度学习框架编译生成的物理计算图，创建本机上的任务执行体，通过设计为每个任务执行体分配多个空闲内存块的方案，实现整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，本发明公开的面向神经网络模型计算的图执行方法和装置，以算子核函数的执行体为基本单元，以生产和消费的张量作为整个计算图中流动的数据，执行体以流水并行的方式实现模型的训练过程。在大规模深度神经网络的分布式应用场景下，本发明对用户的使用门槛较低，并且能够使模型学习到大量分批次流入神经网络的数据的内在关联，从而获得对应场景中的“智能”感知与判断能力。
-
公开(公告)号：CN114417073A
公开(公告)日：2022-04-29
申请号：CN202210309856.1
申请日：2022-03-28
Applicant: 之江实验室
IPC: G06F16/901 , G06F16/903 , G06F16/953 , G06F21/60 , G06F21/62
Abstract: 本发明公开了一种加密图的邻居节点查询方法及装置、电子设备，该方法包括：提取每个节点的邻居节点，生成邻居节点表；根据邻居节点表和生成的密钥组，生成加密索引字典；对加密索引字典进行扩充，将扩充索引字典发送至云服务器以使得云服务器对扩充索引字典进行存储；接收用户端的关于目标节点的查询请求；根据查询请求和密钥组，生成目标节点的查询令牌；向用户端发送查询令牌和密钥组，以使得用户端向云服务器发送查询令牌，云服务器根据查询令牌和扩充索引字典，对目标节点的邻居节点进行查询，将查询结果发送至用户端，用户端根据密钥组对查询结果进行解密，从而得到目标节点的明文查询结果。该方法可实现top‑H跳邻居节点和top‑k邻居节点的查询。
-
公开(公告)号：CN119918624A
公开(公告)日：2025-05-02
申请号：CN202510404732.5
申请日：2025-04-02
Applicant: 之江实验室
Abstract: 本申请公开了一种模型训练系统、模型训练任务执行方法、装置及介质，模型训练系统中的管理集群可以获取训练集群执行模型训练任务时的实时状态数据，通过该实时状态数据，预测未来设定时间段内训练集群在执行模型训练任务时的状态，管理集群确定与训练集群中包含的各设备对应的各模拟器，并通过这些模拟器，初始化与训练集群对应的虚拟训练集群。管理集群根据预测状态，生成针对虚拟训练集群的若干执行策略，并按照这些执行策略中的至少部分执行策略，通过虚拟训练集群仿真执行该模型训练任务，得到至少部分执行策略对应的性能指标，根据得到的性能指标，确定目标策略，以按照目标策略，执行该模型训练任务，从而有效地提高整个训练集群的效率。
-
公开(公告)号：CN119576844B
公开(公告)日：2025-04-22
申请号：CN202510141804.1
申请日：2025-02-08
Applicant: 之江实验室
IPC: G06F15/163 , G06F15/16
Abstract: 本说明书公开了一种数据处理方法及装置。所述方法包括：集合通信集群中的任一计算节点接收上一个计算节点发送的第一数据切片，根据接收到的第一数据切片执行计算任务，并将独立于计算任务的待发送的任务数据拆分为多个不存在依赖关系的第二数据切片；依次将各第二数据切片发送给下一个计算节点，以使下一个计算节点在根据接收到的第二数据切片执行计算任务的同时，接收后续的第二数据切片；在根据计算节点中的全部任务数据执行计算任务后，得到目标计算结果。本方案有效提高了集合通信集群对数据进行传输和计算的整体效率。
-
公开(公告)号：CN119576844A
公开(公告)日：2025-03-07
申请号：CN202510141804.1
申请日：2025-02-08
Applicant: 之江实验室
IPC: G06F15/163 , G06F15/16
Abstract: 本说明书公开了一种数据处理方法及装置。所述方法包括：集合通信集群中的任一计算节点接收上一个计算节点发送的第一数据切片，根据接收到的第一数据切片执行计算任务，并将独立于计算任务的待发送的任务数据拆分为多个不存在依赖关系的第二数据切片；依次将各第二数据切片发送给下一个计算节点，以使下一个计算节点在根据接收到的第二数据切片执行计算任务的同时，接收后续的第二数据切片；在根据计算节点中的全部任务数据执行计算任务后，得到目标计算结果。本方案有效提高了集合通信集群对数据进行传输和计算的整体效率。
-
Patent Agency Ranking
公开(公告)号：CN118377436B
公开(公告)日：2024-09-13
申请号：CN202410821445.X
申请日：2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。
-
公开(公告)号：CN116881618B
公开(公告)日：2024-06-04
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN117873789B
公开(公告)日：2024-05-10
申请号：CN202410287649.X
申请日：2024-03-13
Applicant: 之江实验室
Abstract: 在本说明书提供的一种基于分段量化的检查点写入方法及装置中，获取待写入的模型状态，并针对该模型状态中每个向量值，确定该向量值中数值的取值范围以及初始量化位宽，通过分段数量对该向量值进行分段，并针对该向量值中每个数值，确定该数值的所属分段以及该所属分段的分段取值范围，进而对该数值进行量化，根据量化后的各数值，确定量化后的该向量值，并写入检查点文件，该检查点文件用于模型的模型状态恢复。通过分段数量对该向量值进行分段，以及通过精准划分各所属分段的分段取值范围，再对各数值进行量化，在减少存储需求的同时，降低了数值量化的精度损失，并将各量化后的向量值全量写入检查点文件，减少恢复模型状态的复杂性。
-
公开(公告)号：CN117909371A
公开(公告)日：2024-04-19
申请号：CN202410308246.9
申请日：2024-03-18
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/23 , G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。在此方法中，每轮训练时，确定对目标模型执行该轮训练任务时所要使用的训练样本的数据标识，并判断要使用的训练样本的数据标识是否存储在预设的数据列表中，若是，则从预设的缓存中查询该数据标识对应的训练样本，通过获取到的训练样本对目标模型进行训练，否则，根据该数据标识向预设的数据库发送数据获取请求，并通过获取到的训练样本对目标模型进行训练，根据该轮训练时使用的训练样本的使用次数，对预设的数据列表中存储的数据标识进行更新，以根据更新后的数据列表，对预设的缓存中的训练样本进行更新，并通过预设的缓存中更新后的训练样本，对目标模型进行下一轮训练。
-
公开(公告)号：CN117892769A
公开(公告)日：2024-04-16
申请号：CN202410296736.1
申请日：2024-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种神经网络训练方法、显存调度方法、系统、设备和产品，通过对第一神经网络在训练过程中的多个张量执行显存调度，记录各张量在显存调度期间对应的显存信息和重用距离，显存信息包括对应于各张量的显存占用量、显存利用率以及适用于各张量的显存释放模式；以各张量的显存占用量、显存利用率和重用距离作为样本数据的输入，以适用于各张量的显存释放模式作为样本数据的输出，构建训练数据集；根据训练数据集训练初始的第二神经网络，得到经训练的第二神经网络，经训练的第二神经网络可作为线上显存优化的决策引擎，使得决策引擎能够适用于多GPU训练场景的显存调度。
-
-
-
-
-
-
-
-
-
Search Results
156
records
(took 0.034 seconds)
