-
公开(公告)号：CN112433983A
公开(公告)日：2021-03-02
申请号：CN201910789086.3
申请日：2019-08-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法，包括以下配置：文件资源池的定义：包括：服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能；文件资源池的分配：并行文件系统提供文件资源池的分配接口，文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间；文件资源池的释放：并行文件系统提供文件资源池的释放接口，用户或管理员通过该释放接口完成文件资源池内资源的释放；资源池内负载统计：文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡，提高并行IO性能。
-
公开(公告)号：CN105279029B
公开(公告)日：2018-07-06
申请号：CN201510827194.7
申请日：2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F9/50
Abstract: 一种基于作业计算资源的局部存储动态分配方法，包括：用户提交作业，使用参数指明需要使用的局部资源；作业管理器将挂载局部请求的作业名称的相应唯一标识以及相应进程的进程排列号传递给局部管理器；局部管理器根据唯一标识通过哈希算法得到提供局部服务的第一个IO服务节点编号；依据第一个IO服务节点编号，每个进程排列号都依次加上该编号；使每个进程对应的计算节点挂载上对应服务的IO服务节点的局部数据输出服务；检查对应的每个进程排列号，确定是否在该挂载目录下存在每个进程的排列号目录；将每个计算节点下的局部目录下的排列号目录绑定到一个固定目录，使得每个进程对应的计算节点上的固定目录是仅自己可见的局部目录；进行作业的执行。
-
公开(公告)号：CN112565326B
公开(公告)日：2023-10-17
申请号：CN201910918615.5
申请日：2019-09-26
Applicant: 无锡江南计算技术研究所
IPC: H04L67/1097
Abstract: 本发明公开了一种面向分布式文件系统的RDMA通信地址交换方法，包括分布式文件系统的RDMA数据发送阶段和RDMA数据接收阶段，包括以下步骤：与远端建立连接时预交换若干个RDMA地址；根据文件操作的类型，将文件操作数据封装到本地的RDMA注册地址，生成RDMA消息；所述文件操作的类型包括打开操作open、关闭操作close、查找操作lookup、书写操作write和读取操作read；根据目前的远端RDMA地址使用情况为本次文件操作分配远端的RDMA地址；若RDMA空闲地址小于目前RDMA地址的一半，在生成的文件操作RDMA消息附带发送RDMA地址紧张报警信息让远端申请8个RDMA地址。本发明不会引发内存浪费、降低通信效率、消耗额外系统资源，减少了多余RDMA地址交换操作，提升了RDMA通信的整体效率。
-
公开(公告)号：CN114217733A
公开(公告)日：2022-03-22
申请号：CN202110479680.X
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种面向IO转发系统的IO处理框架，包括以下作业粒度的IO调度单元，用于在IO转发节点上，根据作业的job ID将所有的IO请求进行分类；文件粒度的IO调度单元，用于将来自同一作业的IO请求按照文件进行分配，并以文件为单位进行调度；IO操作级别的IO调度单元，用于在IO请求调度过程中分析来自同一个文件的多个IO请求之间的依赖关系，并根据这些依赖关系，实现合并写IO请求和优化预读；还包括一动态资源调度单元，用于根据各个IO调度单元对IO请求的执行情况。本发明解决了高性能计算转发架构下的IO转发服务器的IO调度问题。
-
公开(公告)号：CN112559230A
公开(公告)日：2021-03-26
申请号：CN201910852581.4
申请日：2019-09-10
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开一种面向超大规模存储系统性能异常降级问题的自动鉴别方法，基于以下配置：故障总控模块，用于提供存储系统状态的整体视图，并通过查询故障数据库获取文件系统的故障信息，并发送到存储系统的总信息库；故障探测模块，用于判断当前存储系统是否有故障，如果没有故障，则返回状态正常，如果有故障，将当前存储设备的故障信息上报给驻留模块；设置于存储设备上的驻留模块，用于定时调用故障探测模块，对存储系统进行探测，并将接收自故障探测模块的故障信息规划后录入故障数据库，还用于将故障信息发送至故障总控模块。本发明实现了面向超大规模存储系统中性能降级设备的及时发现的报警，从而使大规模IO应用课题的存储性能得到保证。
-
Patent Agency Ranking
公开(公告)号：CN105279029A
公开(公告)日：2016-01-27
申请号：CN201510827194.7
申请日：2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F9/50
Abstract: 一种基于作业计算资源的局部存储动态分配方法，包括：用户提交作业，使用参数指明需要使用的局部资源；作业管理器将挂载局部请求的作业名称的相应唯一标识以及相应进程的进程排列号传递给局部管理器；局部管理器根据唯一标识通过哈希算法得到提供局部服务的第一个IO服务节点编号；依据第一个IO服务节点编号，每个进程排列号都依次加上该编号；使每个进程对应的计算节点挂载上对应服务的IO服务节点的局部数据输出服务；检查对应的每个进程排列号，确定是否在该挂载目录下存在每个进程的排列号目录；将每个计算节点下的局部目录下的排列号目录绑定到一个固定目录，使得每个进程对应的计算节点上的固定目录是仅自己可见的局部目录；进行作业的执行。
-
公开(公告)号：CN102938784A
公开(公告)日：2013-02-20
申请号：CN201210441176.1
申请日：2012-11-06
Applicant: 无锡江南计算技术研究所
IPC: H04L29/08
Abstract: 本发明提供了一种应用于分布式存储系统中的数据存储方法和系统，其中，确定待存储数据的数据类别；查找所述待存储数据的数据类别对应的预设的存储规则，所述预设的存储规则包括副本数目以及不同的存储位置信息；依据所述副本数目，生成所述待存储数据的数据副本；将所述数据副本分别存储到不同的存储位置信息对应的存储节点中。本发明实施例，通过对不同的数据类别生成不同数目的数据副本进行存储，从而既保证了存储数据的安全性、扩展性、可操作性等问题，又避免了对系统资源的占用，从而有效提高了存储系统的可靠性。
-
公开(公告)号：CN102932464A
公开(公告)日：2013-02-13
申请号：CN201210441466.6
申请日：2012-11-06
Applicant: 无锡江南计算技术研究所
Abstract: 本申请提供了一种存储系统的性能分析方法，包括：解析用户发送的捕捉指令中的代码标识；依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取；应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应，本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统，通过在存储系统中植入跟踪程序代码，直接对存储系统中各个运行的I/O模块的运行数据进行获取，通过获取的运行数据对存储系统的性能进行分析，使得分析效率更高，更加直接准确。
-
公开(公告)号：CN102929958A
公开(公告)日：2013-02-13
申请号：CN201210381995.1
申请日：2012-10-10
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 元数据的处理方法，代理、转发设备，服务器及计算系统。本发明公开了一种元数据的处理方法，包括：从元数据服务器获取多个文件的元数据信息；接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例通过元数据代理设备来完成元数据的处理，减轻了元数据服务器的负载，降低了元数据集群的复杂性，提高了元数据处理的灵活性。
-
公开(公告)号：CN112433983B
公开(公告)日：2022-07-12
申请号：CN201910789086.3
申请日：2019-08-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法，包括以下配置：文件资源池的定义：包括：服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能；文件资源池的分配：并行文件系统提供文件资源池的分配接口，文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间；文件资源池的释放：并行文件系统提供文件资源池的释放接口，用户或管理员通过该释放接口完成文件资源池内资源的释放；资源池内负载统计：文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡，提高并行IO性能。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.111 seconds)
