基于运行信息的高性能计算作业调度系统性能分析方法

    公开(公告)号:CN117076070A

    公开(公告)日:2023-11-17

    申请号:CN202311018731.4

    申请日:2023-08-14

    Abstract: 本发明公开了基于运行信息的高性能计算作业调度系统性能分析方法,方法步骤如下:S1:自建分析数据库;S2:初始运行时,所有用到的数组和变量赋值为0;S3:获取当前时刻记为now,其小时数h、分钟数m,从中获取历史分析数据,并判断h=0和m=0是否成立;S4:查询调度系统作业信息并根据State进行分类处理;S5:将计算结果累加并写入自建数据库;S6:对一段时间数据进行一维聚类;S7:计算期望值;S8:对Ft进行后分析比较,分析每一类规模中排队时间的差值Pd情况;S9:如果正常运行范围的预测的准确率保持不变或有提高则参数和Cnum保持不变;如果准确率有下降趋势,转到S7得到新的聚类Cnum;S10:持续分析调度和作业信息。本发明提高了运维维护管理效率。

    基于在线增量学习的HPC作业功耗预测方法及系统

    公开(公告)号:CN116821643A

    公开(公告)日:2023-09-29

    申请号:CN202310777733.5

    申请日:2023-06-28

    Abstract: 本发明提出了基于在线增量学习的HPC作业功耗预测方法及系统,涉及高性能计算领域,根据离线作业功耗数据,初始化预测模型;实时获取新采样的HPC作业功耗数据,形成输入数据流;预测模型处理输入数据流,输出未来时刻的功耗预测值;在处理输入数据流过程中,基于模型更新时机判定方法,使用在线增量学习进行模型的更新;基于模型更新时机判定方法是在接收到新数据时,通过对真实值与预测值之间的偏差距离分布变化进行监控,得到模型预测性能下降分数,基于预设的增量学习分数阈值,判定预测模型是否需要进行增量学习;本发明当模型预测性能出现下降时,对原有的模型参数进行优化与更新,以适用预测未来时刻功耗值的需求,提高预测的精度。

    面向存算分离的算网资源协同调度方法及系统

    公开(公告)号:CN116361006A

    公开(公告)日:2023-06-30

    申请号:CN202310357823.9

    申请日:2023-03-31

    Abstract: 本发明公开了面向存算分离的算网资源协同调度方法及系统,获取多个终端设备发送的用于为任务分配存储资源的资源调度请求,筛选出存储备选中心群;获取多个终端设备发送的用于为任务分配算力资源的资源调度请求,筛选出算力备选中心群;计算存储备选中心群和算力备选中心群中,存储中心和算力中心两两之间网络传输质量数据;根据网络传输质量数据,计算出网络传输质量评分和存算中心匹配评分;根据网络传输质量评分和存算中心匹配评分,给出不同策略需求的调度决策评分函数;获取终端设备发送的策略需求,根据策略需求,选择对应的调度决策评分函数,筛选出调度决策评分最大值所对应的方案输出,根据筛选的中心实现终端设备任务的存储和计算。

    基于海洋模式ROMS的并行通讯方法及系统

    公开(公告)号:CN115391069B

    公开(公告)日:2023-02-03

    申请号:CN202211321760.3

    申请日:2022-10-27

    Abstract: 本发明提供了基于海洋模式ROMS的并行通讯方法及系统,涉及海洋科学并行计算应用技术领域,包括获取海洋模式ROMS的配置文件roms.in中的Lm和Mm值;根据配置文件中的Lm和Mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;获取边界通讯区域的进程号,形成边界通讯域;将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正;通过约束边界很大程度地减少通讯时间,增加了模式可扩展性和运行并行度,减少了对运行系统的网络压力,提升模式模拟速度且加速效果明显。

    一种性能感知的大规模微服务智能多资源协同调度方法及系统

    公开(公告)号:CN115037749A

    公开(公告)日:2022-09-09

    申请号:CN202210644605.9

    申请日:2022-06-08

    Abstract: 本发明涉及一种性能感知的大规模微服务智能多资源协同调度方法及系统,包括:采集微服务资源使用信息与微服务运行时信息并进行数据预处理;对资源协同调度进行决策的性能感知的多层联动;对微服务进行资源调度的资源分配。通过自动的信息采集可以实时地感知微服务的资源使用和延迟性能等情况;在此基础上,利用多智能体深度强化学习方法可以捕获各个微服务之间的依赖关系,并根据工作负载的动态变化协同地对每个微服务所使用的多种资源进行弹性细粒度的调整。本发明可以在尽可能保障大规模微服务应用的尾延迟SLO的同时,降低微服务每个资源维度的资源冗余,进而提高整体资源利用率。

    基于超算的多源异构图数据融合方法及系统

    公开(公告)号:CN114399006B

    公开(公告)日:2022-07-12

    申请号:CN202210292433.3

    申请日:2022-03-24

    Abstract: 本公开提供了一种基于超算的多源异构图数据融合方法及系统,涉及多源异构图数据处理技术领域,采用虚拟化服务器通过镜像模拟知识本体构建工具的运行环境,并以数据服务接口的方式将多个知识本体构建方法进行统一整合,能够集成知识标注、知识抽取、知识融合等图数据处理工具,实现多源异构数据的图数据融合,并且采用大规模知识图谱分布式存储方式,实时存储解析后的多源异构数据;对历史存储的多源异构数据进行统计分析,得到统计分析结果并进行可视化展示,其数据融合自动化程度高、融合速度快,可拓展性强,可支撑一站式图数据处理操作,另外,采用虚拟化技术完成各种工具环境部署,具有算力强大、硬件条件高、安全性高、性能优越的特点。

Patent Agency Ranking