-
公开(公告)号:CN112433983B
公开(公告)日:2022-07-12
申请号:CN201910789086.3
申请日:2019-08-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法,包括以下配置:文件资源池的定义:包括:服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能;文件资源池的分配:并行文件系统提供文件资源池的分配接口,文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间;文件资源池的释放:并行文件系统提供文件资源池的释放接口,用户或管理员通过该释放接口完成文件资源池内资源的释放;资源池内负载统计:文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡,提高并行IO性能。
-
公开(公告)号:CN112445768A
公开(公告)日:2021-03-05
申请号:CN201910794731.0
申请日:2019-08-27
Applicant: 无锡江南计算技术研究所
IPC: G06F16/172 , G06F16/182
Abstract: 本发明公开一种面向超大规模系统的多文件系统元数据统一缓存管理方法,基于以下模块:若干个分布式文件系统,分别配置于分布式文件系统环境中IO节点上的驻留收集模块,用于监测文件系统元数据信息的变化,并将获取的元数据信息传输至后台数据库;后台数据库,用于接收和存储来自驻留收集模块的元数据信息;配置于管理节点上的总控处理模块,用于查询后台数据库,获取元数据的信息,并通过元数据信息的变更来检索和查找、定位的文件数据;本发明可以针对不同分布式文件系统来实现元数据的收集与管理,更方便的通过元数据的信息来有效地监控文件系统的运行状况。
-
公开(公告)号:CN112445660A
公开(公告)日:2021-03-05
申请号:CN201910801001.9
申请日:2019-08-28
Applicant: 无锡江南计算技术研究所
IPC: G06F11/22
Abstract: 本发明公开一种针对共享存储阵列性能均衡性问题的测试方法,基于以下模块:控制模块,用于配置均衡性测试端、均衡性测试分区、均衡性测试目录,还用于生成并发送均衡性测试场景命令、均衡性测试命令,还用于收集与汇总均衡性测试结果;测试模块,用于接收管理端的命令并执行,如生成均衡性测试场景,进行指定线程数、指定文件大小、指定块大小、指定顺序写/读、指定随机写/读的均衡性测试,记录并返回均衡性测试结果至控制模块。本发明既可准确测试判断存储设备在面向多个服务器时是否存在性能均衡性问题,也可以判断单一服务器上多个不同的LUN之间是否存在性能均衡性问题。
-
公开(公告)号:CN102932464B
公开(公告)日:2015-10-07
申请号:CN201210441466.6
申请日:2012-11-06
Applicant: 无锡江南计算技术研究所
Abstract: 本申请提供了一种存储系统的性能分析方法,包括:解析用户发送的捕捉指令中的代码标识;依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取;应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应,本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统,通过在存储系统中植入跟踪程序代码,直接对存储系统中各个运行的I/O模块的运行数据进行获取,通过获取的运行数据对存储系统的性能进行分析,使得分析效率更高,更加直接准确。
-
公开(公告)号:CN112558858A
公开(公告)日:2021-03-26
申请号:CN201910852999.5
申请日:2019-09-10
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法,包括以下步骤:在应用程序中,调用数据操作请求;将数据操作请求中所有的IO调用请求,通过虚拟文件系统模块提交到用户空间文件系统;用户空间文件系统将接收到的IO调用请求投递到用户空间,IO负载监控模块对IO调用请求进行解析,获得此IO调用请求的目标操作地址,并判断该目标操作地址是否位于应用程序所操作的目录下;客户端将IO调用请求传送到服务端;IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集,与应用的代码开发无关,不影响应用的运行,不影响操作系统内核的稳定运行,可缩短应用的运行时间,提高高性能计算机的运行效率。
-
公开(公告)号:CN112433983A
公开(公告)日:2021-03-02
申请号:CN201910789086.3
申请日:2019-08-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法,包括以下配置:文件资源池的定义:包括:服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能;文件资源池的分配:并行文件系统提供文件资源池的分配接口,文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间;文件资源池的释放:并行文件系统提供文件资源池的释放接口,用户或管理员通过该释放接口完成文件资源池内资源的释放;资源池内负载统计:文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡,提高并行IO性能。
-
公开(公告)号:CN105512185A
公开(公告)日:2016-04-20
申请号:CN201510830806.8
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30132
Abstract: 本发明提供了一种基于作业时序缓存共享的方法,包括:在JOB提交运行前,声明JOB运行过程中的需要的DFS Cache资源量;系统为各个JOB的作业分配相应的DFS Cache资源,并启动JOB作业运行;使得各个JOB作业运行多轮,其中JOB会产生多次对于DFS Cache的访问,使系统采集各个JOB作业访问DFS Cache的时间间隔;在JOB作业访问缓存资源的时间间隔趋于稳定的情况下,记录所述时间间隔,并且启动DFS Cache共享分配算法;在执行JOB作业时,由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写,如果存储管理系统确定存在JOB数据访问超过时间窗口,重新启动DFS Cache共享分配算法。
-
公开(公告)号:CN102456049A
公开(公告)日:2012-05-16
申请号:CN201010527389.7
申请日:2010-10-28
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种数据迁移方法、装置及面向对象的分布式文件系统,其中,所述数据迁移方法中,当需要将源对象存储服务器存储的文件对象迁移至目标对象存储服务器中时,在目标对象存储服务器中创建空文件对象,再建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,这样,就可以将文件对象数据直接由源对象存储服务器中文件对象迁移至目标对象存储服务器空文件对象中,不需要客户端参与,解决了现有数据迁移操作时,传输路径长且易出现数据传输错误的问题。
-
公开(公告)号:CN112559230A
公开(公告)日:2021-03-26
申请号:CN201910852581.4
申请日:2019-09-10
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开一种面向超大规模存储系统性能异常降级问题的自动鉴别方法,基于以下配置:故障总控模块,用于提供存储系统状态的整体视图,并通过查询故障数据库获取文件系统的故障信息,并发送到存储系统的总信息库;故障探测模块,用于判断当前存储系统是否有故障,如果没有故障,则返回状态正常,如果有故障,将当前存储设备的故障信息上报给驻留模块;设置于存储设备上的驻留模块,用于定时调用故障探测模块,对存储系统进行探测,并将接收自故障探测模块的故障信息规划后录入故障数据库,还用于将故障信息发送至故障总控模块。本发明实现了面向超大规模存储系统中性能降级设备的及时发现的报警,从而使大规模IO应用课题的存储性能得到保证。
-
公开(公告)号:CN105512185B
公开(公告)日:2019-03-26
申请号:CN201510830806.8
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F16/182 , G06F16/172
Abstract: 本发明提供了一种基于作业时序缓存共享的方法,包括:在JOB提交运行前,声明JOB运行过程中的需要的DFS Cache资源量;系统为各个JOB的作业分配相应的DFS Cache资源,并启动JOB作业运行;使得各个JOB作业运行多轮,其中JOB会产生多次对于DFS Cache的访问,使系统采集各个JOB作业访问DFS Cache的时间间隔;在JOB作业访问缓存资源的时间间隔趋于稳定的情况下,记录所述时间间隔,并且启动DFS Cache共享分配算法;在执行JOB作业时,由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写,如果存储管理系统确定存在JOB数据访问超过时间窗口,重新启动DFS Cache共享分配算法。
-
-
-
-
-
-
-
-
-