-
公开(公告)号：CN117032936B
公开(公告)日：2024-02-06
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算
-
公开(公告)号：CN116436962A
公开(公告)日：2023-07-14
申请号：CN202310376290.9
申请日：2023-03-31
Applicant: 之江实验室
IPC: H04L67/2885 , H04L67/10
Abstract: 面向DFS的全局聚合命名空间下跨计算节点的持久性缓存方法，包括：所有计算节点能按需访问存储在宿主计算节点、远端计算节点或数据存储服务器的任意文件；计算节点根据任务需求和元数据服务器给出的文件布局信息，通过策略引擎预设的缓存预取策略，反向使用条带化技术，根据缓存类型需求，将相关文件从数据存储服务器端复制或迁移到相应的多个计算节点本地持久性缓存设备；当缓存在多个计算节点的数据满足预设条件时，通过策略引擎预设的缓存替换或驱逐策略，将对相关计算节点端数据进行替换或驱逐到数据存储服务器端；根据待操作的相关文件是否已经缓存到对应计算节点本地持久性存储器中的情形，协同完成相关操作。
-
公开(公告)号：CN117195997A
公开(公告)日：2023-12-08
申请号：CN202311464150.3
申请日：2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，在此方法中，待训练模型部署在本地节点的计算区中，并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中，将训练所需要的目标数据缓存在高速缓存区中，以便计算区从高速缓存区直接进行数据读取，来进行模型训练，若没有读取到数据，则通过数据生成模型根据索引值生成的目标数据，进一步进行模型训练，并在模型训练过程中，保证模型准确度的情况下，对模型进行模型压缩，来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩，从而在一定程度上提高模型训练效率和减少存储资源浪费。
-
-
公开(公告)号：CN117666971B
公开(公告)日：2024-04-30
申请号：CN202410136688.X
申请日：2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中，通过响应于训练目标模型的原始数据的存储请求，确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址，将原始数据、第一公式以及该待选存储地址输入回归模型，得到该待选存储地址的训练效果；根据各待选存储地址的训练效果，从各待选存储地址中，确定目标存储地址，并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果，确定原始数据的目标存储地址，并将原始存储至目标存储地址，达到了根据数据训练的效果的对数据进行存储的目标。
-
Patent Agency Ranking
公开(公告)号：CN117032936A
公开(公告)日：2023-11-10
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。
-
公开(公告)号：CN116521094A
公开(公告)日：2023-08-01
申请号：CN202310804460.9
申请日：2023-07-03
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本申请涉及一种元数据存储方法、装置、计算机设备和存储介质。所述方法包括：根据应用需求设置元数据的存储基准时间；以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片；根据接收到的待存储的元数据的时间戳，将待存储的元数据存储至对应的存储时间片中。采用本方法能够解决现有的存储方式存在数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
-
-
公开(公告)号：CN117666971A
公开(公告)日：2024-03-08
申请号：CN202410136688.X
申请日：2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中，通过响应于训练目标模型的原始数据的存储请求，确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址，将原始数据、第一公式以及该待选存储地址输入回归模型，得到该待选存储地址的训练效果；根据各待选存储地址的训练效果，从各待选存储地址中，确定目标存储地址，并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果，确定原始数据的目标存储地址，并将原始存储至目标存储地址，达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号：CN117195997B
公开(公告)日：2024-03-01
申请号：CN202311464150.3
申请日：2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，在此方法中，待训练模型部署在本地节点的计算区中，并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中，将训练所需要的目标数据缓存在高速缓存区中，以便计算区从高速缓存区直接进行数据读取，来进行模型训练，若没有读取到数据，则通过数据生成模型根据索引值生成的目标数据，进一步进行模型训练，并在模型训练过程中，保证模型准确度的情况下，对模型进行模型压缩，来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩，从而在一定程度上提高模型训练效率和减少存储资源浪费。(56)对比文件Cedric Spire et al..Learning in theAbsence of Training Data—A GalacticApplication《.International Conference onBayesian Statistics in Action》.2019,第43-51页.王丽等.面向模型并行训练的模型拆分策略自动生成方法《.计算机工程与科学》.2020,第42卷(第09期),第1529-1537页.
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.021 seconds)
