-
公开(公告)号：CN116185307B
公开(公告)日：2023-07-04
申请号：CN202310448220.X
申请日：2023-04-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括：接收模型数据的存储请求并获取模型数据，确定所述模型数据的属性信息，根据所述属性信息，确定所述模型数据对应的存储位置，若所述存储位置位于所述AI加速器的本地存储单元，则确定与所述属性信息相匹配的压缩方式，作为目标压缩方式，通过所述目标压缩方式对所述模型数据进行压缩，并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置，以及若所述存储位置位于所述AI加速器的远端存储单元，则将所述模型数据存储在所述远端存储单元中的所述存储位置。
-
公开(公告)号：CN116304720A
公开(公告)日：2023-06-23
申请号：CN202310564363.7
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。
-
公开(公告)号：CN116048800A
公开(公告)日：2023-05-02
申请号：CN202310035863.1
申请日：2023-01-10
Applicant: 之江实验室
IPC: G06F9/50
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：确定各候选计算节点，并获取各候选计算节点的历史访问记录，根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间，根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个目标计算节点，将目标名字空间下的至少部分元数据发送给目标计算节点进行存储，以使其他计算候选计算节点向目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。
-
公开(公告)号：CN119179935B
公开(公告)日：2025-02-11
申请号：CN202411684885.1
申请日：2024-11-22
Applicant: 之江实验室
IPC: G06F18/24 , G06F18/214 , G06F18/40
Abstract: 本说明书公开了一种基于数据质量的数据存储方法、介质及设备。获取初始数据集。针对初始数据集中的每个数据，将该数据分别输入预设的各标注模型，得到每个标注模型针对该数据的标注结果，作为该数据对应的标注集。根据初始数据集中每个数据对应的标注集，在初始数据集中进行数据筛选，以构建出目标数据集。确定预设的计算节点在执行目标模型的模型训练任务时的数据访问信息，以及确定目标数据集中各数据对应的数据特性信息，根据数据访问信息以及目标数据集中包含的各数据对应的数据特性信息，确定计算节点在执行目标模型的模型训练任务时目标数据集中各数据的存储位置，并按照存储位置，将目标数据集作为训练样本进行存储。
-
公开(公告)号：CN119293219A
公开(公告)日：2025-01-10
申请号：CN202411805809.1
申请日：2024-12-10
Applicant: 之江实验室
IPC: G06F16/334 , G06N3/0464 , G06N3/042 , G06F18/241 , G06F18/214
Abstract: 本申请涉及一种网络社交动态的情感分类方法、系统、设备和存储介质，通过对社交动态的文本进行预处理，得到预处理后的数据集；根据数据集构建包含词节点和社交动态节点的语义图；根据社交动态的话题属性，以及发布社交动态的用户的用户间关系，提取社交动态之间的关联信息，并根据社交动态之间的关联信息建立社交动态节点之间的连接关系，得到包含语义关系和社交关系的社交动态多层图；将社交动态多层图输入至集成模型进行处理，得到社交动态的情感分类结果；其中，集成模型由基于双曲学习的图卷积神经网络和大规模预训练语言模型构成；提升了社交动态的情感分类的准确度。
-
Patent Agency Ranking
公开(公告)号：CN119179581A
公开(公告)日：2024-12-24
申请号：CN202411684883.2
申请日：2024-11-22
Applicant: 之江实验室
IPC: G06F9/50 , G06F16/182 , G06F3/06 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种存储资源调度方法、装置、存储介质及电子设备，可以通过预先构建的包含有多级分层的数据存储系统，执行针对目标模型的训练任务，并在执行针对目标模型的训练任务的过程中，可以基于预先确定的不同训练样本的数据质量参数，以及目标模型在不同的训练周期的不同的状态参数下对数据质量不同的训练样本数据的需求，对设置于不同分层中的不同异构存储资源进行调度管理，以提升水平方向的数据存取效率，从而可以从横纵两方面全面提升数据的存取效率，进而可以提升模型的训练效率。
-
-
公开(公告)号：CN118642661B
公开(公告)日：2024-11-08
申请号：CN202411092481.3
申请日：2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。
-
公开(公告)号：CN118396140B
公开(公告)日：2024-09-13
申请号：CN202410849948.8
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法，第二计算节点基于适应度函数确定各树型结构模型的当前适应度，选择目标树型结构模型，第一计算节点选择参考树型结构模型，根据参考树型结构模型和目标树型结构模型，生成进化操作执行任务，将其分配给各第二计算节点，使其执行各进化操作执行任务，得到更新后的树型结构模型，第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型，并以此构建当前待训练模型，迭代多次直到满足第一预设条件，得到训练完成的目标模型。可见，上述方案实现了基于大型计算集群的分布式训练的适配，解决了大型树型模型占用计算资源高的问题，提升了大型树型模型的训练效率。
-
公开(公告)号：CN118567791A
公开(公告)日：2024-08-30
申请号：CN202411044021.3
申请日：2024-07-31
Applicant: 之江实验室
Abstract: 本说明书提供的一种缓存方法、装置、存储介质以及电子设备，首先确定执行分布式模型训练任务所需的目标容器，以及，确定目标容器中训练程序执行分布式模型训练任务所需的目标训练数据集的路径信息，将路径信息与预设的缓存表中包含的各路径信息进行匹配，以判断目标训练数据集是否被缓存，若是，则从缓存表中确定出缓存目标训练数据集的计算节点的节点信息，以从缓存目标训练数据集的计算节点中获取目标训练数据集，并通过目标容器执行分布式模型训练任务，若否，则根据路径信息，从云端获取目标训练数据集，以通过获取的目标训练数据集，执行分布式模型训练任务。
-
-
-
-
-
-
-
-
-
Search Results
165
records
(took 0.024 seconds)
