-
公开(公告)号:CN118055023A
公开(公告)日:2024-05-17
申请号:CN202410186002.8
申请日:2024-02-20
Applicant: 中国科学院计算机网络信息中心
IPC: H04L41/084 , H04L41/08 , H04L41/0897 , H04L67/1095 , G06F9/50
Abstract: 本发明提供一种跨节点并行计算任务局部进程迁移的方法,包括以下步骤:步骤1,计算任务的启动配置脚本的配置过程;步骤2,计算任务容器化部署过程;步骤3,容器运行时迁移过程。本发明实现MPI并行计算任务的容器化部署和单容器的跨节点迁移,相比于全部进程迁移,通过单容器实现局部进程迁移的方式,引入的存储开销和检查点开销更小,同时可以保持计算任务整体不中断运行,更加灵活的支撑容错、负载均衡、弹性调度等场景。
-
公开(公告)号:CN119363823A
公开(公告)日:2025-01-24
申请号:CN202411485998.9
申请日:2024-10-23
Applicant: 中国科学院计算机网络信息中心
IPC: H04L67/566 , H04L67/563 , H04L67/06 , H04L67/141
Abstract: 本申请提供一种基于消息系统的跨节点异步数据传输方法,用于高性能计算环境,包括第一代理服务器接收客户端发送的文件申请请求,将文件申请请求发送到消息系统,消息系统存储文件申请请求和待传输数据,第二代理服务器从消息系统的逻辑容器中拉取文件申请请求,根据客户端信息与目标HPC服务器建立文件传输通道。本发明中的数据传输系统通过简单地新增前端节点、后端节点以及消息系统中的逻辑容器,即可扩展HPC服务器的数量,从而实现了系统的低耦合度和高可扩展性,同时提高了数据传输的可靠性和容错性,传输过程中如果某一节点出现故障,系统能够快速进行节点更新和恢复,确保传输过程稳定。
-
公开(公告)号:CN107656741B
公开(公告)日:2020-07-28
申请号:CN201610592012.7
申请日:2016-07-25
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种在高性能计算环境中使用应用封装的方法及其装置,该方法包括:生成一个应用封装可执行文件;获取一个或多个高性能计算机的应用封装的基本信息;根据用户的作业描述请求,获取作业描述信息;在所述应用封装基本信息中匹配所述作业描述信息,得到所述作业描述信息对应的应用封装可执行文件;若匹配成功,对所述作业描述信息进行解析,并根据所述解析的结果,匹配的应用封装可执行文件和作业管理系统类型,生成作业提交脚本;向一个或多个所述高性能计算机发送所述作业提交脚本,完成作业提交。本申请能够屏蔽高性能计算环境上应用软件部署的异构性,为用户提供统一的使用环境。
-
公开(公告)号:CN111444020A
公开(公告)日:2020-07-24
申请号:CN202010247080.6
申请日:2020-03-31
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种超融合计算系统架构及融合服务平台。该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中。其中,超级计算系统利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求;大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求;数据存储系统用于储存文件形态、对象形态的海量科研数据,满足数据处理过程中的临时数据交换和存储需求,满足数据处理后共享发布的存储需求。高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通,满足海量科研数据在上述各系统之间的快速交换需求,为实现“流水线”式数据处理提供底层物理支撑。
-
公开(公告)号:CN118055023B
公开(公告)日:2024-10-11
申请号:CN202410186002.8
申请日:2024-02-20
Applicant: 中国科学院计算机网络信息中心
IPC: H04L41/084 , H04L41/08 , H04L41/0897 , H04L67/1095 , G06F9/50
Abstract: 本发明提供一种跨节点并行计算任务局部进程迁移的方法,包括以下步骤:步骤1,计算任务的启动配置脚本的配置过程;步骤2,计算任务容器化部署过程;步骤3,容器运行时迁移过程。本发明实现MPI并行计算任务的容器化部署和单容器的跨节点迁移,相比于全部进程迁移,通过单容器实现局部进程迁移的方式,引入的存储开销和检查点开销更小,同时可以保持计算任务整体不中断运行,更加灵活的支撑容错、负载均衡、弹性调度等场景。
-
公开(公告)号:CN114490059A
公开(公告)日:2022-05-13
申请号:CN202210081531.2
申请日:2022-01-24
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种网格中间件的部署方法,包括:当检测到可发布软件仓库中存在最新版本的网格中间件时,确定第一标识。然后,根据第一标识确定第二标识。之后,根据第一标识和第二标识确定部署声明文件。根据部署声明文件确定相应服务器的部署指令,并发送部署指令至相应服务器上。相应服务器可以根据部署指令部署最新版本的网格中间件。本发明通过实时监测可发布软件仓库并确定出部署声明文件,以便可以根据该部署声明文件对相应的服务器部署最新版本的网格中间件。实现了网格中间件的分布式部署,并且可以将软件更新快速交付给用户使用。
-
公开(公告)号:CN112306719B
公开(公告)日:2022-05-31
申请号:CN202011322687.2
申请日:2020-11-23
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明提供一种任务调度方法与装置。该装置包括:作业请求收集与分发模块,至少一个调度服务模块,至少一个作业执行服务模块。作业请求收集与分发模块从用户终端接收待执行作业的第一描述信息。至少一个调度服务模块中与作业调度算法名称相匹配的当前调度服务模块,根据第一描述信息确定待执行作业所需要的计算资源,然后根据所需要的计算资源以及当前可用集群计算资源,确定作业调度结果。通过至少一个作业执行服务模块中与作业执行服务名称相匹配的当前作业执行服务模块,根据调度结果中包含的设备标识和待执行作业的全局标识,将待执行作业提交至高性能计算机。
-
公开(公告)号:CN112306719A
公开(公告)日:2021-02-02
申请号:CN202011322687.2
申请日:2020-11-23
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明提供一种任务调度方法与装置。该装置包括:作业请求收集与分发模块,至少一个调度服务模块,至少一个作业执行服务模块。作业请求收集与分发模块从用户终端接收待执行作业的第一描述信息。至少一个调度服务模块中与作业调度算法名称相匹配的当前调度服务模块,根据第一描述信息确定待执行作业所需要的计算资源,然后根据所需要的计算资源以及当前可用集群计算资源,确定作业调度结果。通过至少一个作业执行服务模块中与作业执行服务名称相匹配的当前作业执行服务模块,根据调度结果中包含的设备标识和待执行作业的全局标识,将待执行作业提交至高性能计算机。
-
公开(公告)号:CN111444020B
公开(公告)日:2022-07-12
申请号:CN202010247080.6
申请日:2020-03-31
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/50 , G06F9/455 , G06F16/182 , G06F21/62 , G06F21/31 , H04L67/025 , H04L67/1097 , H04L67/06 , H04L9/40 , H04L67/1095
Abstract: 本发明涉及一种超融合计算系统架构及融合服务平台。该架构将超级计算系统、大数据云系统、数据存储系统以及高速网络系统融合于单一计算系统中。其中,超级计算系统利用并行化计算方法满足对计算精度、计算规模具有较高要求的科研数据处理需求;大数据云系统借助虚拟化技术满足分布式计算环境、个性化科研计算环境的快速定制、发布需求;数据存储系统用于储存文件形态、对象形态的海量科研数据,满足数据处理过程中的临时数据交换和存储需求,满足数据处理后共享发布的存储需求。高速网络系统负责超级计算系统、大数据云系统、数据存储系统间的互连互通,满足海量科研数据在上述各系统之间的快速交换需求,为实现“流水线”式数据处理提供底层物理支撑。
-
公开(公告)号:CN107656741A
公开(公告)日:2018-02-02
申请号:CN201610592012.7
申请日:2016-07-25
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种在高性能计算环境中使用应用封装的方法及其装置,该方法包括:生成一个应用封装可执行文件;获取一个或多个高性能计算机的应用封装的基本信息;根据用户的作业描述请求,获取作业描述信息;在所述应用封装基本信息中匹配所述作业描述信息,得到所述作业描述信息对应的应用封装可执行文件;若匹配成功,对所述作业描述信息进行解析,并根据所述解析的结果,匹配的应用封装可执行文件和作业管理系统类型,生成作业提交脚本;向一个或多个所述高性能计算机发送所述作业提交脚本,完成作业提交。本申请能够屏蔽高性能计算环境上应用软件部署的异构性,为用户提供统一的使用环境。
-
-
-
-
-
-
-
-
-