-
公开(公告)号:CN118396140A
公开(公告)日:2024-07-26
申请号:CN202410849948.8
申请日:2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。
-
公开(公告)号:CN116991429B
公开(公告)日:2024-01-16
申请号:CN202311266395.5
申请日:2023-09-28
Applicant: 之江实验室
IPC: G06F8/41 , G06F18/214
Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质,其中,该编译调优方法包括:选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列,对每种样本程序与优化序列的组合进行编译、特征抽取以及运行,得到训练数据集,基于训练数据集对预设的多任务学习模型进行训练,得到预训练模型,基于预训练模型进行成本函数模型的初始化,得到目标成本函数模型,利用该目标成本函数模型对目标源程序进行调优,得到目标源程序的最优优化序列。通过本申请,解决了相关技术中计算机程序编译调优效率低下的问题,提高了计算机程序的编译调优效率。
-
公开(公告)号:CN117034721B
公开(公告)日:2024-01-02
申请号:CN202311289898.4
申请日:2023-10-08
Applicant: 之江实验室
IPC: G06F30/23 , G06F30/27 , G06N3/042 , G06N3/084 , G06F119/08
Abstract: 本发明公开了一种面向芯粒集成设计的图神经网络温度场预测方法和装置,包含:根据有限元网格划分,将网格单元视为图数据的节点,相邻的两个网格单元用边连接,获得由节点和边组成的封装结构的图数据;根据网格单元顶点位置信息、材料属性、仿真问题的初值条件和边值条件,获得节点的初始编码;设计深度图神经网络模型,首先获得节点和边在高维空间的投射,然后让节点聚合边的信息,边聚合节点的信息,最后将节点信息解码为温度数值;根据物理方程设计损失函数并训练模型;用训练好的模型进行温度分布预测;最后将网格单元的温度用插值方法计算每个顶点的温度。
-
公开(公告)号:CN116777010B
公开(公告)日:2023-12-19
申请号:CN202311080508.2
申请日:2023-08-25
Applicant: 之江实验室
IPC: G06N20/00
Abstract: 本说明书公开了一种模型训练的方法以及任务执行方法及装置,可以将获取到的在指定空间中混合物态在第一时刻下的各物理场数据输入到预测模型中,来训练该预测模型,这样一来,在将训练后的预测模型应用到实际任务执行的过程中时,相比于现有技术并不需要耗费过多的时间来一步步推导出下一时刻的指定空间中混合物态在第二时刻下的各物理场数据,这样不仅提高了预测物理场数据的效率,而且由于在训练阶段,是以混合物态在第一时刻和第二时刻前后之间的质量分布符合质量约束为条件,对预测模型进行训练,所以可以保证预测模型在实际应用中所预测出的物理场数据的准确性。(56)对比文件Shuai Wang et al..Multi-scalenumerical simulation of fluidized beds:Model applicability assessment.《Particuology 80》.2022,11-41.
-
公开(公告)号:CN116776135B
公开(公告)日:2023-12-19
申请号:CN202311072802.9
申请日:2023-08-24
Applicant: 之江实验室
IPC: G06F18/2136 , G06N3/0464
Abstract: 本说明书公开了一种基于神经网络模型的物理场数据预测方法及装置,可以根据物理场数据整体在数据空间中各空间区域的数据稀疏情况,来对物理场数据进行划分,得到各分块数据,这样可以将具有计算价值的数据从物理场数据的整体中分割出来,使得预测模型对有价值的分块数据进行计算,以完成物理场数据的预测任务,从而相比于现有技术来说,可以显著的提升预测模型的运算效率。
-
公开(公告)号:CN116755862B
公开(公告)日:2023-12-19
申请号:CN202311010092.7
申请日:2023-08-11
Applicant: 之江实验室
IPC: G06F9/48 , G06T1/20 , G06V10/764 , G06V10/774
Abstract: 本说明书公开了一种算子优化调度模型的训练方法、装置、介质及设备,包括:确定当前时刻作为训练样本的预先基于图像数据训练的图像分类模型中的各算子的信息,并输入待训练的算子优化调度模型,确定当前时刻待优化算子。确定对待优化算子进行优化后的待优化算子对图像数据进行图像分类时的运行下降时间。再根据信息、待优化算子以及待优化算子对图像数据进行图像分类时的运行下降时间,对待训练的算子优化调度模型进行训练,使得可以通过训练完成的算子优化调度模型确定当前时刻所需调度进行优化的算子,减少人工设计选择所需优化的算子的策略的麻烦,加快后续将待部署的图像分类模型部署到硬件上的速度。
-
公开(公告)号:CN116382599B
公开(公告)日:2023-08-29
申请号:CN202310669715.5
申请日:2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种面向分布式集群的任务执行方法、装置、介质及设备。所述面向分布式集群的任务执行方法包括:获取样本数据,根据磁盘带宽和本地延迟,以及网络带宽和网络延迟,对样本数据的数量进行划分,将第一样本数量的样本数据存储在各计算节点的本地磁盘,将第二样本数量的样本数据存储在存储节点,针对每个计算节点,将该计算节点的本地磁盘中指定数量的样本数据与其他计算节点的本地磁盘中的样本数据进行交换,得到更新后样本数据,以及,从所述存储节点中读取远端样本数据,根据更新后本地样本数据和远端样本数据,在该计算节点上执行当前训练周期针对目标模型的训练任务。
-
公开(公告)号:CN116306856A
公开(公告)日:2023-06-23
申请号:CN202310557259.5
申请日:2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置,可以获取深度学习模型所对应的计算图,确定计算图中包括的算子,并确定每个算子匹配的硬件资源,而后,根据各算子匹配的硬件资源,构建搜索空间,从搜索空间中选取出目标样本,并确定目标样本对应的运行时长,以及确定目标样本对应的邻域样本,并确定邻域样本对应的运行时长,若邻域样本对应的运行时长短于目标样本的运行时长,将邻域样本作为重新确定出的目标样本,并继续确定目标样本对应的邻域样本以及对应的运行时长,直到满足预设迭代终止条件为止,按照目标样本所对应的分配方案,对深度学习模型的算子进行硬件资源的分配,以进行部署,本方法可以提高深度学习模型的计算效率。
-
公开(公告)号:CN119918624A
公开(公告)日:2025-05-02
申请号:CN202510404732.5
申请日:2025-04-02
Applicant: 之江实验室
Abstract: 本申请公开了一种模型训练系统、模型训练任务执行方法、装置及介质,模型训练系统中的管理集群可以获取训练集群执行模型训练任务时的实时状态数据,通过该实时状态数据,预测未来设定时间段内训练集群在执行模型训练任务时的状态,管理集群确定与训练集群中包含的各设备对应的各模拟器,并通过这些模拟器,初始化与训练集群对应的虚拟训练集群。管理集群根据预测状态,生成针对虚拟训练集群的若干执行策略,并按照这些执行策略中的至少部分执行策略,通过虚拟训练集群仿真执行该模型训练任务,得到至少部分执行策略对应的性能指标,根据得到的性能指标,确定目标策略,以按照目标策略,执行该模型训练任务,从而有效地提高整个训练集群的效率。
-
公开(公告)号:CN118334278B
公开(公告)日:2024-08-27
申请号:CN202410779806.9
申请日:2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中,针对三维空间的每个维度,按照该维度的坐标大小,依次针对该维度的每个网格截面,确定该网格截面中标记网格的数量,与前一网格截面中标记网格的数量之间的差值,并通过预设范围,确定该维度的划分面,进而基于确定出的各划分面,得到该三维空间的划分结果,即基于点云数据所在标记网格的分布,实现了三维空间的划分,避免了相邻点云数据所在的标记网格被划分到不同三维子空间中,从而提高了基于该划分结果下的点云数据,通过预测模型,确定目标预测结果的预测效率。
-
-
-
-
-
-
-
-
-