一种高性能计算应用的性能监测系统

    公开(公告)号:CN111813626B

    公开(公告)日:2024-09-20

    申请号:CN202010633496.1

    申请日:2020-07-02

    IPC分类号: G06F11/30 G06F11/34

    摘要: 本发明涉及一种高性能计算应用的性能监测系统,包括:数据采集客户端,用于实时采集一个或多个集群上的高性能计算应用的性能指标数据;数据收集服务器,用于从数据采集客户端获取所述性能指标数据,并存储至数据存储服务器中;数据存储服务器,用于存储所述性能指标数据;作业信息获取模块,部署在每一集群的边界节点上,用于获取一个或多个待监测作业的作业信息,并根据所述作业信息从所述数据存储服务器中获取待监测作业对应的目标性能指标数据;监测结果确定模块,用于基于待监测作业对应的目标性能指标数据,确定单个作业的监测结果,或者确定多个作业的监测结果。本发明能够实时监测相同或不同集群上的单个或多个高性能计算应用的性能。

    基于分布式系统的I/O栈构建方法、装置、设备及介质

    公开(公告)号:CN117950599B

    公开(公告)日:2024-07-19

    申请号:CN202410353708.9

    申请日:2024-03-27

    IPC分类号: G06F3/06

    摘要: 本公开实施例涉及一种基于分布式系统的I/O栈构建方法、装置、设备及介质,其中该方法包括:获取待运行作业的作业描述信息,根据所述作业描述信息,确定所述待运行作业的I/O类型数据;其中,所述作业描述信息包括:作业名称信息、作业路径信息、作业提交信息中的至少一个,所述作业名称信息包括:软件名称信息、软件版本信息、作业算例信息中的至少一个;根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈。本公开实施例,I/O栈与作业的适配性较高,并且实现了系统级自动化构建I/O栈,减少了人力资源的消耗,合理利用I/O资源,提升了作业的I/O性能。

    基于分布式系统的I/O栈构建方法、装置、设备及介质

    公开(公告)号:CN117950599A

    公开(公告)日:2024-04-30

    申请号:CN202410353708.9

    申请日:2024-03-27

    IPC分类号: G06F3/06

    摘要: 本公开实施例涉及一种基于分布式系统的I/O栈构建方法、装置、设备及介质,其中该方法包括:获取待运行作业的作业描述信息,根据所述作业描述信息,确定所述待运行作业的I/O类型数据;其中,所述作业描述信息包括:作业名称信息、作业路径信息、作业提交信息中的至少一个,所述作业名称信息包括:软件名称信息、软件版本信息、作业算例信息中的至少一个;根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈。本公开实施例,I/O栈与作业的适配性较高,并且实现了系统级自动化构建I/O栈,减少了人力资源的消耗,合理利用I/O资源,提升了作业的I/O性能。

    请求处理方法、装置、设备、存储介质及系统

    公开(公告)号:CN115665265B

    公开(公告)日:2023-04-04

    申请号:CN202211706755.4

    申请日:2022-12-29

    摘要: 本公开涉及一种请求处理方法、装置、设备、存储介质及系统。能够将每个集群用户的逻辑资源封装为独立的微服务并运行在登录节点的独立容器中,使得不同集群用户只能在包含其能使用的微服务的登录节点上使用自己的逻辑资源,不会在单个登录节点出现资源竞争和资源拥挤问题,也会将不同集群用户的处理过程数据完全隔离,提高了数据安全性,另外,由于每个微服务运行的容器对应至少一个登录节点,如果某个集群用户当前登录的登录节点发生故障,还可以基于允许该集群用户使用的微服务对应的容器,找到其他登录节点进行登录,实现登录节点动态无感知的迁移和调度。综上,本公开实施例提供的请求处理方法,提高了请求处理方式的安全性和灵活性。

    超级计算机资源调度方法、电子设备和介质

    公开(公告)号:CN114020443A

    公开(公告)日:2022-02-08

    申请号:CN202210002354.4

    申请日:2022-01-05

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明涉及一种超级计算机资源调度方法、电子设备和介质,方法包括步骤S1、获取超级计算机第t时刻空闲节点数N1t、分配节点数N2t,第t+1时刻预留节点数NRt+1;步骤S2、若NRt+1大于N1t+N2t,且NRt+1‑(N1t+N2t)大于目标层级的交换机所管理的节点数量,则根据多层拓扑结构开启NRt+1‑(N1t+N2t)个节点,否则,执行步骤S3、获取第t+1时刻空闲节点数N1t+1、分配节点数N2t+1,第t+2时刻预留节点数NRt+2,若NRt+2大于NRt+1,且N1t+1+N2t+1小于NRt+2时,则不执行开启节点或关闭节点操作;若NRt+2大于NRt+1,且N1t+1+N2t+1大于等于NRt+2时,或者,NRt+2小于等于NRt+1时,则基于N1t+1、N2t+1、NRt+1和NRt+2确定关闭节点的数量NO,关闭NO个空闲节点。本发明通过实时扩容或缩容超级计算机的计算容量,提高了超级计算机的资源利用率,降低了能耗。

    跨域通信系统
    6.
    发明公开

    公开(公告)号:CN113259383A

    公开(公告)日:2021-08-13

    申请号:CN202110674705.1

    申请日:2021-06-18

    IPC分类号: H04L29/06 H04L29/08

    摘要: 本发明涉及一种跨域通信系统,包括:互联网子系统、云平台子系统、超级计算机子系统、反向代理服务器、消息队列服务器、数据库服务器、接口服务器和统一认证服务器,其中,所述互联网子系统和云平台子系统通过所述反向代理服务器相连接,所述云平台子系统和超级计算机子系统之间分别通过消息队列服务器、数据库服务器、接口服务器和统一认证服务器相连接。本发明实现了互联网、云平台和超级计算机之间的跨域实时通信,同时保证了互联网、云平台和超级计算机之间的网络通信的安全。

    一种高性能计算应用的性能监测系统

    公开(公告)号:CN111813626A

    公开(公告)日:2020-10-23

    申请号:CN202010633496.1

    申请日:2020-07-02

    IPC分类号: G06F11/30 G06F11/34

    摘要: 本发明涉及一种高性能计算应用的性能监测系统,包括:数据采集客户端,用于实时采集一个或多个集群上的高性能计算应用的性能指标数据;数据收集服务器,用于从数据采集客户端获取所述性能指标数据,并存储至数据存储服务器中;数据存储服务器,用于存储所述性能指标数据;作业信息获取模块,部署在每一集群的边界节点上,用于获取一个或多个待监测作业的作业信息,并根据所述作业信息从所述数据存储服务器中获取待监测作业对应的目标性能指标数据;监测结果确定模块,用于基于待监测作业对应的目标性能指标数据,确定单个作业的监测结果,或者确定多个作业的监测结果。本发明能够实时监测相同或不同集群上的单个或多个高性能计算应用的性能。

    一种CT切片数据可视化重构的八叉树并行构造方法

    公开(公告)号:CN106846457B

    公开(公告)日:2020-05-26

    申请号:CN201611062125.2

    申请日:2016-11-25

    IPC分类号: G06T17/00 G06T1/20 G06T1/60

    摘要: 本发明涉及并行计算应用技术领域和高性能科学计算领域,特别是涉及一种具备TB级数据处理能力的CT切片数据可视化重构的八叉树并行构造方法。其基于MPI+OpenMP并行编程模型,利用原始体数据网格剖分、八叉树节点数据没有依赖性等特点,基于“按需构造‑Branch on need Octrees,BONOs”方案,根据体数据的实际三维尺寸进行八叉树并行构造,一方面减少构造过程中对计算资源、存储资源的浪费和I/O开销,另一方面通过并行计算的方式实现对TB级CT切片数据的快速八叉树数据结构构造,MPI+OpenMP并行编程技术满足TB级CT切片数据在不同分辨率要求下的八叉树数据结构体快速构造,该方法具备较好的并行加速比和并行效率。

    一种用于计算集群的数据拷贝装置

    公开(公告)号:CN110365764A

    公开(公告)日:2019-10-22

    申请号:CN201910625533.1

    申请日:2019-07-11

    IPC分类号: H04L29/08

    摘要: 本发明涉及一种用于计算集群的数据拷贝装置,包括:数据拷贝服务器,用于在接收到用户提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和装置控制器;且自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;所述装置控制器,用于接收、核验所述管理人员输入的第一类型任务属性数据,并根据核验结果控制所述N个第二储存单元的打开;所述N个第二储存单元,用于放置可连接至所述数据拷贝服务器的移动存储设备。