-
公开(公告)号:CN104021137A
公开(公告)日:2014-09-03
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30067 , H04L63/10
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN103179185A
公开(公告)日:2013-06-26
申请号:CN201210570089.6
申请日:2012-12-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种分布式文件系统客户端缓存中文件创建方法及其系统,其中该方法包括:步骤1,客户端从元数据服务器获取目录写授权;步骤2,客户端在本地缓存中创建文件;步骤3,客户端异步提交所创建文件至元数据服务器。本发明方法解决了海量小文件应用场景中分布式文件系统现有技术无法有效减少文件创建时与元数据服务器同步网络交互开销的问题。
-
公开(公告)号:CN101324893B
公开(公告)日:2011-08-17
申请号:CN200810116075.0
申请日:2008-07-02
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种资源管理系统和方法。该资源管理系统包括:基于文件资源组织部件,其用于存储具有空闲资源的文件的索引节点;文件操作部件,其用于根据所述基于文件资源组织部件中存储的所述索引节点直接进行资源管理。利用该系统进行资源管理,资源分配的结果可以被重用,提高了资源分配的效率;删除文件不必进行块资源回收,降低了资源回收的开销;大量减少了资源分配、回收过程中相关数据结构的修改操作,提高了资源管理速度。
-
公开(公告)号:CN101183318A
公开(公告)日:2008-05-21
申请号:CN200710179431.9
申请日:2007-12-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种资源分配方法和系统,首先申请资源,获取(blk_start,blk_len),在文件索引节点中增加(blk_offset,blk_start,blk_len)域;然后从预分配资源中获取资源记录到文件布局中,进行资源分配;释放文件布局资源,如果存在预分配资源,则释放预分配资源。通过持久预分配技术,使得本方法和系统适用范围广,而且本发明通过采用异步回收机制对预分配资源进行回收,避免了文件数量巨大情况下的空间浪费严重,且能够自动确定预分配的粒度。
-
公开(公告)号:CN1952941A
公开(公告)日:2007-04-25
申请号:CN200610149936.6
申请日:2006-10-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种用于共享存储的资源分配方法和分配系统,该方法包括:异构存储设备注册的步骤;根据异构存储设备的属性对异构存储设备的存储资源划分文件卷的步骤;文件属性同存储属性的映射关系以及文件属性访问操作的规则库建立的步骤;按照规则进行资源分配的步骤。该分配系统,包括存储资源池,与所述存储资源池连接的资源管理装置;与所述资源管理装置连接的控制装置;与所述控制装置连接的规则管理装置;一规则库连接到所述规则管理装置;所述控制装置具有接收待处理的具有不同属性的文件集的接口;所述资源管理装置和所述规则管理装置具有用户操作访问接口。本发明使所有类型文件都能够具有高的性能,有效管理了异构存储资源。
-
公开(公告)号:CN105095353B
公开(公告)日:2018-12-04
申请号:CN201510345279.1
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN104933144B
公开(公告)日:2018-03-30
申请号:CN201510345488.6
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种并行网络文件系统中保证数据有效性的系统及其方法,该系统包括:客户端,用于发送只读目录授权申请,接收所授予的只读目录授权,标记只读目录的版本号,并访问磁盘中该只读目录下的文件以及该文件的数据页面;元数据服务器,用于接收客户端发送的只读目录授权申请,并授予客户端只读目录授权;客户端在完成访问后归还该只读目录授权至元数据服务器,并清除该只读目录的版本号。
-
公开(公告)号:CN105740334A
公开(公告)日:2016-07-06
申请号:CN201610045909.8
申请日:2016-01-22
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
CPC classification number: G06F16/134 , G06F16/13 , G06F16/16
Abstract: 本发明提出一种文件系统中异步批量创建文件的系统及方法,该系统包括文件异步创建模块,用于接收文件创建请求,在父目录下创建所述文件的内存目录项,并标记为“未同步到磁盘”状态,为所述文件分配内存索引节点,并设置所述索引节点的索引节点号为伪索引节点号;文件创建批量回刷模块,用于扫描目录项缓存,获取所述内存目录项,及与所述伪索引节点号相对应的内存索引节点,选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项,为每个所述文件分配真正索引节点号替换所述伪索引节点号,并为还未分配数据块资源状态的缓存页批量分配数据块资源,将分配的数据块资源记录到文件布局中,并将所述文件的所述内存目录项插入到所述父目录中。
-
公开(公告)号:CN103077222B
公开(公告)日:2016-01-27
申请号:CN201210591061.0
申请日:2012-12-31
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明提供一种结合本地日志的机群文件系统分布式元数据操作一致性保证方法。其中,协调者和参与者将为分布式元数据子操作生成的分布式元数据子操作更新记录作为一个本地事务记录在本地日志中,所述分布式元数据子操作更新记录包括分布式事务和/或分布式元数据更新,在本地事务提交之后,所述分布式事务被写入到分布式日志中,所述分布式元数据更新被写入到元数据磁盘。该方法还包括在开始分布式元数据子操作之前对本地日志事务进行强制提交的步骤。该方法有效地复用了本地日志,降低了分布式日志的实现复杂度,此外,还能够避免出现级联撤销。
-
公开(公告)号:CN104991739A
公开(公告)日:2015-10-21
申请号:CN201510346978.8
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明涉及元数据服务器失效接替技术及非幂元数据等操作等领域,特别涉及元数据服务器失效接替中精确一次执行语义的方法及系统,包括:在客户端正常访问元数据服务器时,所述元数据服务器在会话session结构中为每个操作分配slotID、sequenceID以及存放响应结果的缓存空间,并将所述session结构持久写入到元数据磁盘上,并将所述slotID和所述sequenceID复制给备份服务器,所述备份服务器收到后,将所述slotID和所述sequenceID放入所述备份服务器缓存中;所述元数据服务器宕机之后,所述备份服务器从磁盘中读取所述session结构的信息,查找已经持久到磁盘上但并未给客户端发送回复结果的非幂等操作,根据所述session结构中的slot table重新构造所述回复结果并发送给客户端。
-
-
-
-
-
-
-
-
-