一种异构计算环境中多源账号的用户统一账号标识系统

    公开(公告)号:CN111695108A

    公开(公告)日:2020-09-22

    申请号:CN202010499985.2

    申请日:2020-06-04

    Abstract: 本发明涉及一种异构计算环境中多源账号的用户统一账号标识系统,其包括:登录账号映射模块、计算账号映射模块、统一账号管理模块、映射管理模块和账号代理模块;其中,登录账号映射模块实现多来源登录账号到统一账号的动态绑定过程,并负责记录映射信息和日志信息;计算账号映射模块用于实现多来源计算账号到统一账号的动态绑定过程,并负责记录映射信息和日志信息;统一账号管理模块负责在异构平台的多种形式的终端之中的实现用户的身份标识功能;映射管理模块管理登录账号到统一账号、计算账号和统一账号之间的两层动态映射关系;账号代理模块负责对接不同的计算账号源,将计算资源的认证服务封装为统一的认证接口,实现简单的认证功能。

    基于自动化参数调整循环神经网络的时序数据预测方法

    公开(公告)号:CN111598329A

    公开(公告)日:2020-08-28

    申请号:CN202010401266.2

    申请日:2020-05-13

    Abstract: 本发明实施例提供了一种时序数据预测方法及预测模型的训练方法,训练方法包括:分别从先获得的行业时间序列数据集和行业关键因子信息时间序列数据集中,查询给定行业和给定行业关键因子的时间序列数据;根据预测周期长度,划分上述给定行业和给定行业关键因子的时间序列数据,得到训练集,利用训练集对时序数据预测模型进行训练。时序数据预测方法包括,将给定行业和给定行业关键因子的时间序列数据,输入由该训练方法预先训练的时序数据预测模型,获得行业预测结果。使用上述方法,可根据行业历史信息和选择的关键因子信息,获取对行业的预测信息,同时,在训练中的特性工程和超参数调优中利用自动化参数调整,减少了训练过程工作量。

    一种基于资源调度器的深度学习系统及其方法

    公开(公告)号:CN109034386A

    公开(公告)日:2018-12-18

    申请号:CN201810668856.4

    申请日:2018-06-26

    CPC classification number: G06N3/08 G06N3/063

    Abstract: 本发明提供一种基于资源调度器的深度学习系统及其方法,包括:多个高性能计算节点,每个高性能计算节点包含多块图形处理器;还包括:资源调度器和深度学习框架,其中,资源调度器用于根据用户所提需求,从多个高性能计算节点中选取所需要的资源分配给用户;通过解析插件解析所述资源调度器分配给用户资源的环境变量,获取相应的参数;深度学习框架根据所述参数形成一个运行的进程,从而开始执行深度学习程序;在深度学习程序完成之后,所述资源调度器回收所有分配的资源,从而完成整个深度学习过程。本发明为各类深度学习框架提供一个整体的集中管理的系统,有效地提高了分布式学习框架的运算效率。

    一种面向海量数据的并行处理方法及系统

    公开(公告)号:CN103384206A

    公开(公告)日:2013-11-06

    申请号:CN201210135226.3

    申请日:2012-05-02

    Abstract: 本发明涉及一种网络管理中面向海量数据的并行处理方法,尤其是一种提高带宽和资源利用率的任务调度方法,包括:定时从数据库中取出待采集任务,并将待采集任务插入任务采集队列,等待采集任务的执行;从任务采集队列中取出任务描述,根据带宽资源利用情况和/或计算资源使用情况将任务进行子任务划分,将子任务映射到采集任务处理单元等待子任务的执行;执行各个子任务以完成数据采集任务,将采集的数据加入数据缓存队列,并进行并行数据处理,将处理好的数据加入内存数据库;将内存数据库中的数据定期同步到物理数据库中。

    一种基于神经网络的超高速碰撞过程模拟方法和装置

    公开(公告)号:CN120012563A

    公开(公告)日:2025-05-16

    申请号:CN202510051957.7

    申请日:2025-01-14

    Abstract: 本公开实施例提供一种基于神经网络的超高速碰撞过程模拟方法和装置,其中方法包括:获取目标时刻的目标物质点的空间坐标信息,目标物质点为超高速碰撞过程中待模拟物体的物质点;将空间坐标信息输入预先训练好的目标神经网络,得到目标神经网络输出的初始等效塑性应变和初始应力三轴度;将空间坐标信息和初始等效塑性应变输入预先训练好的第一算子神经网络,得到第一算子神经网络输出的目标物质点在目标时刻的应力三轴度;将空间坐标信息和初始应力三轴度输入预先训练好的第二算子神经网络,得到第二算子神经网络输出的目标物质点在目标时刻的等效塑性应变。本方法可以在超高速碰撞复杂环境中实现高精度模拟与预测。

    一种基于神经网络的自适应重计算和负载划分的方法、装置、设备、及计算机可读介质

    公开(公告)号:CN119271397A

    公开(公告)日:2025-01-07

    申请号:CN202411256976.5

    申请日:2024-09-09

    Abstract: 本发明提供一种基于自适应重计算和负载划分的并行训练方法、装置、设备及计算机可读介质。首先,将深度学习框架中的动态计算图转换为静态计算图数据结构;然后,对计算序列进行划分,生成计算子图;并根据算子的计算时间、算子的转移代价以及约束条件,以构建混合整数规划模型;然后,使用求解器对算子的调度优化问题进行求解,以生成显存优化策略;针对生成的显存优化策略,进行各个计算子图的执行时间的评估,并计算得出负载均衡率;最后,根据负载均衡率的计算结果确定出最终划分的计算子图,并利用最终划分的计算子图进行并行训练。通过本发明提供的方法可以寻找到最终的算子执行序列,使得计算图的运行时峰值显存消耗在给定的限制内,并且最小化神经网络模型的训练时间。

    一种面向国产超算系统的大模型并行训练策略生成方法

    公开(公告)号:CN119127477A

    公开(公告)日:2024-12-13

    申请号:CN202411144019.3

    申请日:2024-08-20

    Abstract: 一种面向国产超算系统的大模型并行训练策略生成方法,并行训练策略包括并行训练方法、批尺寸、显存优化方法中的至少一种,并行训练策略构成搜索空间,该方法包括:获取生成并行训练策略所需的参数;基于参数,构建多个决策树,多个决策树用于分解并行训练策略的搜索空间,每个决策树用于表征并行策略的一个子搜索空间;基于决策树和参数,通过性能评估方法对模型训练方法进行评估,确定模型在不同的并行策略下的计算性能和通信性能;基于计算性能和通信性能,构建整数规划模型;确定整数规划模型的最优解,将最优解对应的并行训练策略作为确定的并行训练策略。本方法能够针对国产超算系统,生成最为方便快捷的大模型并行训练策略。

Patent Agency Ranking