-
公开(公告)号：CN118642661B
公开(公告)日：2024-11-08
申请号：CN202411092481.3
申请日：2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。
-
公开(公告)号：CN118396140B
公开(公告)日：2024-09-13
申请号：CN202410849948.8
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。
-
公开(公告)号：CN118502681A
公开(公告)日：2024-08-16
申请号：CN202410975313.2
申请日：2024-07-19
Applicant: 之江实验室
Abstract: 本申请涉及用于存储数据集的方法、系统及用于训练模型的方法。该存储方法包括：获得低速存储设备的平均传输速率；根据训练程序中一次迭代的时间、训练程序的总迭代次数及平均传输速率，获得数据集中用于存储至低速存储设备的低速子集，其中，数据集用于训练模型；以及确定数据集中需要存储在高速存储设备的高速子集，高速子集用于支持训练程序的启动训练。采用本方法能够使高速存储设备和低速存储设备构成的系统的总体成本较低；并能保证有效地支持模型的训练。
-
公开(公告)号：CN118394282A
公开(公告)日：2024-07-26
申请号：CN202410849941.6
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括：获取各待存储的数据；根据每个数据所占用的存储空间，对各数据进行排序，并基于排序结果确定每个数据对应的数据编号，将存储设备的存储空间划分为若干个簇；针对每个数据，将该数据存储在与该数据所占用存储空间相匹配的块中；针对每个簇，根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小，生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率，进一步提升业务效率。
-
公开(公告)号：CN118379605A
公开(公告)日：2024-07-23
申请号：CN202410821436.0
申请日：2024-06-24
Applicant: 之江实验室
IPC: G06V10/96 , G06V10/94 , G06V10/82 , G06V10/44 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/0495 , G06N3/096
Abstract: 本说明书公开了一种图像识别大模型的部署方法、装置及存储介质，本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器，先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中，将所述分类器部署在异构存算一体芯片的数字架构核中，以降低能耗。通过获取样本图像，将所述样本图像输入所述自编码器中，得到所述自编码器输出的样本图像特征。根据所述样本图像特征，对部署在所述数字架构核中的分类器进行训练，提高图像识别大模型的精度。也就是说，通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中，降低能耗，对部署在数字架构核的分类器进行训练，提高图像识别大模型的精度。
-
Patent Agency Ranking
公开(公告)号：CN117666971B
公开(公告)日：2024-04-30
申请号：CN202410136688.X
申请日：2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中，通过响应于训练目标模型的原始数据的存储请求，确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址，将原始数据、第一公式以及该待选存储地址输入回归模型，得到该待选存储地址的训练效果；根据各待选存储地址的训练效果，从各待选存储地址中，确定目标存储地址，并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果，确定原始数据的目标存储地址，并将原始存储至目标存储地址，达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号：CN117370536B
公开(公告)日：2024-03-12
申请号：CN202311673949.3
申请日：2023-12-07
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/33 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备。可以将用户输入的指定文本输入到预先训练的语言模型中，以通过语言模型确定指定文本对应的文本特征表示，并可以确定每个候选问题文本特征表示与文本特征表示之间的相关度，以根据相关度，从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示，作为目标问题文本特征表示，并根据目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值，确定是否向用户请求补充文本信息，以及是否将预先确定的目标问题文本特征表示对应的回复文本，作为指定文本对应的目标回复文本回复给用户。
-
公开(公告)号：CN117077726A
公开(公告)日：2023-11-17
申请号：CN202311344094.X
申请日：2023-10-17
Applicant: 之江实验室
Abstract: 本申请公开了一种生成存内计算神经网络模型的方法，首先根据待构建的神经网络模型的目标任务，根据历史执行所述目标任务的任务数据作为训练样本，以及将目标任务的执行结果作为标注，之后通过对量化可微超网络的模型结构进行初始化，确定模型各节点之间数据传递顺序的有向无环图，确定架构参数以及权重参数，依该有向无环图的顺序，通过训练样本对权重参数进行调整，然后通过调整后的权重参数配置的模型，调整架构参数，得到存内运行的神经网络模型。通过权值继承，实现了可交替优化的两种参数，分别通过有监督训练和启发式学习进行调整，使得可以更为高效的学习深度神经网络架构。
-
公开(公告)号：CN116306855B
公开(公告)日：2023-09-01
申请号：CN202310555078.9
申请日：2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置，根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量，从存算一体系统的各数据处理单元中选择目标数量的目标单元，进而根据各目标单元对应的控制向量，从各类型的候选操作中，分明别确定各目标单元对应的目标操作，以便将各目标单元的输入分别输入到各目标单元中，对各目标单元的输入采用目标操作执行数据处理，得到目标模型的输出数据。可见，基于目标单元对应的控制向量确定目标单元执行的目标操作的方式，仅通过改变控制向量就能够兼容不同架构的模型，无需进行电路结构的重新设计，扩展了基于存算一体电路的模型推理的场景，并提高了效率。
-
公开(公告)号：CN116415103A
公开(公告)日：2023-07-11
申请号：CN202310681557.5
申请日：2023-06-09
Applicant: 之江实验室
IPC: G06F17/16
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质以及电子设备，可以读取存储在指定设备内存的目标数据，并确定目标数据的各数据维度，可以根据目标数据的各数据维度，确定各种候选数据拆分方式，以及确定按照每种候选数据拆分方式执行目标数据的数据处理任务后的效率值，并根据每种候选数据拆分方式对应的效率值，确定目标数据拆分方式，其中，针对每种候选数据拆分方式，该候选数据拆分方式用于确定指定设备中至少部分的数据处理单元所要处理的数据的数据维度，数据处理单元可以包括：指定设备中的寄存器以及各级缓存。以按照目标数据拆分方式，对神经网络模型中的待处理数据进行数据处理，从而能够提高神经网络模型中矩阵运算的效率。
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.038 seconds)
