-
公开(公告)号:CN104021137B
公开(公告)日:2017-06-09
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN103916467B
公开(公告)日:2017-02-08
申请号:CN201410114579.4
申请日:2014-03-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种元数据集群中负载转移方法及系统,涉及一种元数据集群中多个服务器之间元数据负载转移方法。该方法包括:建立至少两个元数据服务器,用于建立负载均衡模块、远程子目录预申请模块、远程子目录创建模块、远程子目录初始化模块、远程子目录删除模块、远程子目录异步释放模块、远程子目录对象回收模块;建立一个客户端,将目录创建请求发送到父目录所在的元数据服务器,获取远程子目录对象标识,并添加到该父目录的目录项中;将目录删除请求发送到该父目录所在的元数据服务器,从该父目录的目录项中删除该远程子目录对象标识。本发明仅需本地一致性保证机制即可,无需使用分布式一致性保证机制,有效提高远程子目录创建、删除性能。
-
公开(公告)号:CN105095353A
公开(公告)日:2015-11-25
申请号:CN201510345279.1
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30132
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN104933144A
公开(公告)日:2015-09-23
申请号:CN201510345488.6
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30194 , H04L67/2842
Abstract: 本发明公开了一种并行网络文件系统中保证数据有效性的系统及其方法,该系统包括:客户端,用于发送只读目录授权申请,接收所授予的只读目录授权,标记只读目录的版本号,并访问磁盘中该只读目录下的文件以及该文件的数据页面;元数据服务器,用于接收客户端发送的只读目录授权申请,并授予客户端只读目录授权;客户端在完成访问后归还该只读目录授权至元数据服务器,并清除该只读目录的版本号。
-
公开(公告)号:CN103179185B
公开(公告)日:2015-07-08
申请号:CN201210570089.6
申请日:2012-12-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种分布式文件系统客户端缓存中文件创建方法及其系统,其中该方法包括:步骤1,客户端从元数据服务器获取目录写授权;步骤2,客户端在本地缓存中创建文件;步骤3,客户端异步提交所创建文件至元数据服务器。本发明方法解决了海量小文件应用场景中分布式文件系统现有技术无法有效减少文件创建时与元数据服务器同步网络交互开销的问题。
-
公开(公告)号:CN104731527A
公开(公告)日:2015-06-24
申请号:CN201510115469.4
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种三条带状态转换方法,包括:更改三条带状态,其中三条带状态用于指示当前的逻辑条带及其位置关系;以及使纠删码位图指示更改后的纠删码条带位置和镜像条带位置上的哪些数据块构成纠删码条带。本发明降低了数据迁移导致的系统开销,提升了三条带系统的性能。
-
公开(公告)号:CN103902660A
公开(公告)日:2014-07-02
申请号:CN201410076739.0
申请日:2014-03-04
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30203 , G06F17/30132 , H04L67/2847
Abstract: 本发明公开了一种机群文件系统中通过readdir++预取文件布局的系统及其方法,该系统包括:客户端模块(1),用于从服务器模块(2)获取或归还读目录授权;当获得该读目录授权后,向该服务器模块(2)发送读目录请求;将该服务器模块(2)发送的含有文件布局的页面存储于本地缓存中,该客户端模块(1)读取该目录下的文件时,直接使用本地缓存中存储的该文件布局;该服务器模块(2),用于向该客户端模块(1)授予或召回该读目录授权;当接收到该读目录请求时,还将包括文件布局在内的元数据信息封装在页面中,将该页面发送给该客户端模块(1)。由此,能减少读取文件时获取文件布局的网络交互开销,可大幅提升海量小文件的读取访问性能。
-
公开(公告)号:CN101324893A
公开(公告)日:2008-12-17
申请号:CN200810116075.0
申请日:2008-07-02
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种资源管理系统和方法。该资源管理系统包括:基于文件资源组织部件,其用于存储具有空闲资源的文件的索引节点;文件操作部件,其用于根据所述基于文件资源组织部件中存储的所述索引节点直接进行资源管理。利用该系统进行资源管理,资源分配的结果可以被重用,提高了资源分配的效率;删除文件不必进行块资源回收,降低了资源回收的开销;大量减少了资源分配、回收过程中相关数据结构的修改操作,提高了资源管理速度。
-
公开(公告)号:CN100437586C
公开(公告)日:2008-11-26
申请号:CN200610149936.6
申请日:2006-10-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种用于共享存储的资源分配方法和分配系统,该方法包括:异构存储设备注册的步骤;根据异构存储设备的属性对异构存储设备的存储资源划分文件卷的步骤;文件属性同存储属性的映射关系以及文件属性访问操作的规则库建立的步骤;按照规则进行资源分配的步骤。该分配系统,包括存储资源池,与所述存储资源池连接的资源管理装置;与所述资源管理装置连接的控制装置;与所述控制装置连接的规则管理装置;一规则库连接到所述规则管理装置;所述控制装置具有接收待处理的具有不同属性的文件集的接口;所述资源管理装置和所述规则管理装置具有用户操作访问接口。本发明使所有类型文件都能够具有高的性能,有效管理了异构存储资源。
-
-
-
-
-
-
-
-