公开(公告)号：CN116306855A

公开(公告)日：2023-06-23

申请号：CN202310555078.9

申请日：2023-05-17

Applicant: 之江实验室

Inventor： 吕波 ,  程稳 ,  刘懿 ,  陈光 ,  曾令仿 ,  李勇 ,  徐鸿博 ,  吴运翔 ,  王鹏程 ,  张金鑫

IPC: G06N3/065 ,  G06F30/20

Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置，根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量，从存算一体系统的各数据处理单元中选择目标数量的目标单元，进而根据各目标单元对应的控制向量，从各类型的候选操作中，分明别确定各目标单元对应的目标操作，以便将各目标单元的输入分别输入到各目标单元中，对各目标单元的输入采用目标操作执行数据处理，得到目标模型的输出数据。可见，基于目标单元对应的控制向量确定目标单元执行的目标操作的方式，仅通过改变控制向量就能够兼容不同架构的模型，无需进行电路结构的重新设计，扩展了基于存算一体电路的模型推理的场景，并提高了效率。

公开(公告)号：CN116225192A

公开(公告)日：2023-06-06

申请号：CN202310509059.2

申请日：2023-05-08

Applicant: 之江实验室

Inventor： 刘懿 ,  吴运翔 ,  程稳 ,  陈光 ,  曾令仿 ,  李勇 ,  吕波 ,  陈晨 ,  侯瑞峥

IPC: G06F1/20 ,  G06F9/50 ,  G06F11/30 ,  G06F18/25

Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备，本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合，针对每个策略组合，对各历史记录进行处理，确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围，作为该策略组合的适用条件。根据每个策略组合的适用条件，构建模型，并通过模型输出的目标策略组合控制散热系统。在此方法中，通过对各历史记录进行分析，确定出采用每个策略组合所适用的条件。当需要控制散热系统时，将当前散热系统和计算集群的状态信息与各条件进行匹配，以确定出匹配上的条件所对应的目标策略组合，以控制散热系统。

公开(公告)号：CN116185307A

公开(公告)日：2023-05-30

申请号：CN202310448220.X

申请日：2023-04-24

Applicant: 之江实验室

Inventor： 程稳 ,  刘懿 ,  吕波 ,  李勇 ,  黄章敏 ,  崔钰 ,  朱健 ,  费军波 ,  常璟飞 ,  胡陈枢 ,  陈光 ,  曾令仿

IPC: G06F3/06 ,  G06N3/063

Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括：接收模型数据的存储请求并获取模型数据，确定所述模型数据的属性信息，根据所述属性信息，确定所述模型数据对应的存储位置，若所述存储位置位于所述AI加速器的本地存储单元，则确定与所述属性信息相匹配的压缩方式，作为目标压缩方式，通过所述目标压缩方式对所述模型数据进行压缩，并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置，以及若所述存储位置位于所述AI加速器的远端存储单元，则将所述模型数据存储在所述远端存储单元中的所述存储位置。

公开(公告)号：CN119294274A

公开(公告)日：2025-01-10

申请号：CN202411832029.6

申请日：2024-12-12

Applicant: 之江实验室

Inventor： 侯瑞峥 ,  程稳 ,  崔钰 ,  刘懿 ,  吕波 ,  曾令仿

IPC: G06F30/27 ,  G06N20/00 ,  G06F111/04

Abstract: 本说明书公开了一种深度学习加速器软硬件协同方法及装置，在此方法中，通过软件优化器基于初始硬件参数配置样本，确定候选模型运行信息后，通过硬件优化器，基于候选模型运行信息对应的任务效率表征值，确定下轮迭代的初始硬件参数配置样本，若监测到到达预设轮次后前后两轮所对应的初始硬件参数配置样本对应的任务效率表征值之间的偏差小于预设偏差，则将满足预设迭代条件时得到的初始硬件参数配置样本，作为目标硬件参数配置，以及将软件优化器基于目标硬件参数配置所确定的候选模型运行信息对应的候选模型运行方式，作为目标模型运行方式。通过多轮迭代对软件和硬件不断进行协同配置，以实现针对给定模型集合的最优加速器规格参数。

公开(公告)号：CN118468045B

公开(公告)日：2024-09-24

申请号：CN202410937902.1

申请日：2024-07-12

Applicant: 之江实验室

Inventor： 刘晓宇 ,  曾令仿 ,  胡陈枢 ,  韩珂 ,  刘懿

IPC: G06F18/214 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质，本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块，利用特征重构模块，对训练样本被访问信息的特征参数进行特征重构，使得存储层级预测模型充分学习被访问信息的特征。之后，利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么，将重构特征输入长短期记忆网络模块，得到预测结果。根据预测结果及标签，对存储层级预测模型进行训练，提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率，进而提高了上级缓存命中率，加速目标模型训练。

公开(公告)号：CN118570560A

公开(公告)日：2024-08-30

申请号：CN202411044024.7

申请日：2024-07-31

Applicant: 之江实验室

Inventor： 刘晓宇 ,  曾令仿 ,  胡陈枢 ,  韩珂 ,  刘懿

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/778

Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。

公开(公告)号：CN118377436A

公开(公告)日：2024-07-23

申请号：CN202410821445.X

申请日：2024-06-24

Applicant: 之江实验室

Inventor： 刘懿 ,  程稳 ,  刘晓宇 ,  曾令仿 ,  李勇 ,  梅飞 ,  崔钰 ,  朱春节 ,  孔丽娟

IPC: G06F3/06 ,  G06F21/62 ,  G06F21/60 ,  G06F11/10

Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。

公开(公告)号：CN116755893B

公开(公告)日：2023-11-17

申请号：CN202311056655.6

申请日：2023-08-22

Applicant: 之江实验室

Inventor： 胡学典 ,  吴运翔 ,  王博 ,  施林锋 ,  李勇 ,  程稳 ,  刘懿 ,  陈光 ,  曾令仿

IPC: G06F9/50 ,  G06F16/2457 ,  G06F16/2455 ,  G06N3/08

Abstract: 面向深度学习的分布式计算系统的作业调度方法和装置，包括：获取用户输入的作业信息，并存储在数据库中，作业信息包括作业优先级等，并根据作业信息维护一个作业优先级队列；获取集群中各节点的缓存信息；响应于接收到发起作业执行的请求，作业执行根据所述的优先级队列先后顺序执行，将所述作业调度到相应主机节点上执行，执行的结果存储到数据库中；响应于接收到模型更新作业的请求，在所述数据库中查询所述作业所需的数据，计算作业剩余结束时间，并将计算结果保存到数据库中；响应与接收到更新所述队列请求，在所述数据库中查询所需的数据，并根据所述数据更新所述队列。本发明较少依赖用户输入信息，有效提高作业执行时间预测精度。

公开(公告)号：CN116502679B

公开(公告)日：2023-09-05

申请号：CN202310543696.1

申请日：2023-05-15

Applicant: 之江实验室

Inventor： 吕波 ,  侯瑞峥 ,  王鹏程 ,  陈自强 ,  胡陈枢 ,  程稳 ,  刘懿 ,  曾令仿 ,  陈光

IPC: G06N3/0464 ,  G06N3/063 ,  G06N3/08

Abstract: 本说明书公开了一种模型构建方法、装置、存储介质及电子设备，可以对需要进行测试的各候选模型架构进行筛选，以筛选出通过代理模型预测出的性能参数的准确率较低的部分候选模型架构，来通过部署测试模型的方式获得该候选模型架构的真实性能参数，而针对剩余的候选模型架构，可以直接通过代理模型来获取出性能参数，并且可以通过主动学习的方法，在线对代理模型进行训练，从而可以在保证候选模型架构的性能评估准确率的同时，提升自动化构建深度学习模型的效率。

公开(公告)号：CN116661574A

公开(公告)日：2023-08-29

申请号：CN202310860078.X

申请日：2023-07-13

Applicant: 之江实验室

Inventor： 刘懿 ,  程稳 ,  李勇 ,  陈光 ,  曾令仿 ,  吴运翔 ,  吕波 ,  陈晨 ,  朱健

IPC: G06F1/20 ,  G06F18/214

Abstract: 本说明书公开了一种计算设备散热的方法、装置、存储介质及电子设备，本方法通过确定各时刻的计算设备的芯片的特征以及计算设备的散热单元中冷却介质的特征确定训练样本，并获取散热单元的控制指令作为训练样本的标注，然后针对每个特征维度，根据该维度的特征对训练样本进行排序以确定该维度的样本序列，再确定标注相同且连续的各训练样本组成的待选样本组，并确定包含训练样本数量不小于预设数量的待选样本组作为目标样本组，根据各目标样本组以及各目标样本组对应的标注确定控制规则，进一步对计算设备进行散热控制。本方法通过对历史上控制指令、芯片特征以及散热单元中冷却介质的特征的学习生成控制规则，使计算设备可以自行进行散热控制。