-
公开(公告)号:CN118377537B
公开(公告)日:2024-09-06
申请号:CN202410806587.9
申请日:2024-06-21
Applicant: 之江实验室
IPC: G06F9/38
Abstract: 本发明公开了一种脉冲双星傅立叶域加速搜索GPU并行搜索方法和装置,方法包括以下步骤:获取脉冲双星观测数据前处理后的文件,从中读取包括最低傅立叶频率和最高傅立叶频率的参数并创建副谐波信息数组集合;在GPU中,以频率步长乘以批大小的傅立叶频率范围作为步长,从最低傅立叶频率到最高傅立叶频率对副谐波信息数组集合进行遍历搜索得到候选体集合,每次遍历搜索过程包括:计算初始副谐波数组和计算除初始副谐波数组外的副谐波数组集合,并行计算谐波求和与候选体筛选;将所有筛选符合要求的候选体集合进行保存。本发明支持利用多GPU并行加速,能够成倍地提升脉冲双星搜索进程,大大加速该学科的天体发现速度。
-
公开(公告)号:CN116777009B
公开(公告)日:2023-10-20
申请号:CN202311072311.4
申请日:2023-08-24
Applicant: 之江实验室
Abstract: 本申请涉及一种基于内存池的智能计算系统架构和并行训练方法,其中智能计算系统架构支持高速互联网络协议,包括:访问设备、适配器以及交换机;访问设备包括并行设备和存储设备;适配器用于将访问设备接入交换机,以在访问设备之间构建内存池进行内存共享;并行设备从内存池中读取训练集数据,对待训练模型进行并行训练,并将训练得到的模型梯度写入内存池;在内存池中加载存储设备的训练集数据,并基于模型梯度对待训练模型进行参数更新,通过在并行设备和存储设备之间构建内存池,在内存池中进行数据读取,以及待训练模型的参数更新,无需在每轮训练中对存储设备进行数据访问,解决了在并行训练中频繁的数据读取影响训练效率的问题。
-
公开(公告)号:CN116777009A
公开(公告)日:2023-09-19
申请号:CN202311072311.4
申请日:2023-08-24
Applicant: 之江实验室
Abstract: 本申请涉及一种基于内存池的智能计算系统架构和并行训练方法,其中智能计算系统架构支持高速互联网络协议,包括:访问设备、适配器以及交换机;访问设备包括并行设备和存储设备;适配器用于将访问设备接入交换机,以在访问设备之间构建内存池进行内存共享;并行设备从内存池中读取训练集数据,对待训练模型进行并行训练,并将训练得到的模型梯度写入内存池;在内存池中加载存储设备的训练集数据,并基于模型梯度对待训练模型进行参数更新,通过在并行设备和存储设备之间构建内存池,在内存池中进行数据读取,以及待训练模型的参数更新,无需在每轮训练中对存储设备进行数据访问,解决了在并行训练中频繁的数据读取影响训练效率的问题。
-
公开(公告)号:CN117369962A
公开(公告)日:2024-01-09
申请号:CN202311149336.X
申请日:2023-09-07
Applicant: 之江实验室
IPC: G06F9/48 , G06N3/092 , G06N3/084 , G06N3/0442 , G06N3/0455
Abstract: 本申请涉及一种工作流执行序列生成方法、装置、计算机设备和存储介质。所述方法包括:获取工作流执行序列数据集,所述工作流执行序列数据集包括训练工作流描述和对应的标准工作流执行序列,基于所述工作流执行序列数据集训练初始模型,得到执行序列生成模型,将目标工作流需求描述输入所述执行序列生成模型,得到初始工作流执行序列,若所述初始工作流执行序列不满足预设要求,则将所述初始工作流执行序列输入执行序列优化模型,确定目标工作流执行序列,所述执行序列优化模型由强化学习模型训练得到。不仅提高了工作流执行序列生成效率,节省了大量的人力和时间,同时提高了资源利用率。
-
公开(公告)号:CN118377537A
公开(公告)日:2024-07-23
申请号:CN202410806587.9
申请日:2024-06-21
Applicant: 之江实验室
IPC: G06F9/38
Abstract: 本发明公开了一种脉冲双星傅立叶域加速搜索GPU并行搜索方法和装置,方法包括以下步骤:获取脉冲双星观测数据前处理后的文件,从中读取包括最低傅立叶频率和最高傅立叶频率的参数并创建副谐波信息数组集合;在GPU中,以频率步长乘以批大小的傅立叶频率范围作为步长,从最低傅立叶频率到最高傅立叶频率对副谐波信息数组集合进行遍历搜索得到候选体集合,每次遍历搜索过程包括:计算初始副谐波数组和计算除初始副谐波数组外的副谐波数组集合,并行计算谐波求和与候选体筛选;将所有筛选符合要求的候选体集合进行保存。本发明支持利用多GPU并行加速,能够成倍地提升脉冲双星搜索进程,大大加速该学科的天体发现速度。
-
公开(公告)号:CN116340004A
公开(公告)日:2023-06-27
申请号:CN202310429448.4
申请日:2023-04-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括:获取目标模型的模型数据,针对每个计算单元,确定该计算单元在每个时间节点之前允许进行针对各微训练批次的反向传播的最大次数,并确定反向传播次数的最大值所对应的时间节点,作为前向传播节点,在至少位于所述前向传播节点之前的各时间节点中确定该计算单元执行针对每个微训练批次的反向传播的时间节点,作为反向传播节点,根据每个计算单元对应的前向传播节点以及每个计算单元对应的反向传播节点,确定针对所述目标模型的训练策略,并基于所述训练策略,执行针对所述目标模型的任务执行任务。
-
公开(公告)号:CN114610474B
公开(公告)日:2022-09-02
申请号:CN202210511947.3
申请日:2022-05-12
Applicant: 之江实验室
Abstract: 本发明公开一种异构超算环境下多策略的作业调度方法及系统,该方法包括:步骤一,客户端响应于用户的作业请求,将用户作业请求发送给作业调度中心;步骤二,作业调度中心接收到客户端的请求后,解析请求并将所请求的作业添加到作业队列中,同时启用信息采集模块,收集各超算中心的超算资源状态信息;步骤三,作业调度中心根据各超算中心超算资源的状态信息筛选出可用的超算资源,然后将可用的超算资源状态信息和作业请求的信息一起交给强化学习调度器,强化学习调度器生成调度结果,即所述强化学习调度器从可用的超算资源中选择出最适合的超算资源,将作业调度到该超算资源上执行。本发明启用多线程同时调度作业,加速并提升了调度的效率。
-
公开(公告)号:CN114610474A
公开(公告)日:2022-06-10
申请号:CN202210511947.3
申请日:2022-05-12
Applicant: 之江实验室
Abstract: 本发明公开一种异构超算环境下多策略的作业调度方法及系统,该方法包括:步骤一,客户端响应于用户的作业请求,将用户作业请求发送给作业调度中心;步骤二,作业调度中心接收到客户端的请求后,解析请求并将所请求的作业添加到作业队列中,同时启用信息采集模块,收集各超算中心的超算资源状态信息;步骤三,作业调度中心根据各超算中心超算资源的状态信息筛选出可用的超算资源,然后将可用的超算资源状态信息和作业请求的信息一起交给强化学习调度器,强化学习调度器生成调度结果,即所述强化学习调度器从可用的超算资源中选择出最适合的超算资源,将作业调度到该超算资源上执行。本发明启用多线程同时调度作业,加速并提升了调度的效率。
-
-
-
-
-
-
-