-
公开(公告)号:CN104731526B
公开(公告)日:2017-11-03
申请号:CN201510115467.5
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种不满条带写的方法及装置,其中所述条带由镜像条带、纠删码条带和空条带这三个逻辑条带组成,所述方法包括:将数据写入镜像条带,以及修改所述条带对应的位图中的镜像位图指示位和镜像位图;其中,镜像位图指示位用于指示镜像位图中存放的是镜像条带数据信息还是指向镜像条带数据信息的地址,镜像条带数据信息用于指示镜像条带上的哪些位置有数据。本发明使不满条带写请求可以被高效地处理,并且降低了元数据的开销。
-
公开(公告)号:CN102790797B
公开(公告)日:2015-05-06
申请号:CN201210160339.9
申请日:2012-05-22
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04L29/08 , H04L29/06 , H04L12/925
Abstract: 本发明公开一种机群文件系统客户端存储资源延迟分配方法和系统,该方法包括:步骤1,客户端根据文件布局操作情况,进行存储资源延迟分配;步骤2,在文件删除时对存储资源回收,处理客户端延迟分配的存储资源回收;步骤3,对存储资源在客户端与元数据服务器之间的一致性进行维护。
-
公开(公告)号:CN103761256A
公开(公告)日:2014-04-30
申请号:CN201310743906.8
申请日:2013-12-30
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30203 , H04L67/1002
Abstract: 本发明公开了一种远程目录分支点维护系统,包括:元数据服务器集群和客户端,元数据服务器集群进一步包括:主元数据服务器和多个远程元数据服务器,其中,主元数据服务器用于将所有新建的目录的索引节点inode记录在父目录中,并且在索引节点inode中嵌入远程元数据服务器的位置信息,对远程元数据服务器的位置信息进行记录和维护,远程元数据服务器用于创建远程子目录,以实现远程子目录的元数据访问,客户端用于根据维护的元数据服务器集群的定位信息,确定目标元数据服务器,建立与目标元数据服务器的连接,并对目标元数据服务器发送访问请求。本发明还公开了一种远程目录分支点维护方法。
-
公开(公告)号:CN102750322A
公开(公告)日:2012-10-24
申请号:CN201210159873.8
申请日:2012-05-22
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开一种机群文件系统分布式元数据一致性保证方法和系统,所述方法包括:步骤1,协调者对第一个子操作的可执行性进行预先检查,协调者向参与者发送请求信息,由参与者执行第二个子操作,参与者执行完毕之后,返回执行之后的信息给协调者,协调者和参与者写入日志文件;步骤2,根据协调者和参与者日志文件的Commit日志记录组合,对于机群文件系统一致性进行恢复。
-
公开(公告)号:CN102158546A
公开(公告)日:2011-08-17
申请号:CN201110047626.4
申请日:2011-02-28
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04L29/08
Abstract: 本发明提供一种集群文件系统,其特征在于,包括:目录服务器,用于存储目录元数据并提供目录服务;布局服务器机群,用于存储布局元数据并提供布局服务;以及存储设备阵列,用于存储文件内容数据。本发明还提供了相应的文件服务方法。所述文件服务方法包括文件访问步骤:客户端首先访问目录服务器获取文件的目录信息;然后访问布局服务器获取文件数据在物理存储设备上的分布信息;最后直接访问物理存储设备获取数据信息。与现有技术相比,本发明能够进一步提高文件集群系统的扩展能力;本发明兼容性强且访问延时小。
-
公开(公告)号:CN105138545B
公开(公告)日:2018-10-09
申请号:CN201510401114.1
申请日:2015-07-09
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开一种目录项异步预读的方法及系统,该方法包括:步骤1,客户端获取所述目录项的页索引号,根据所述页索引号查找本地页面缓存中所述目录项的第一页,若存在,则执行步骤2,否则向服务器端同步发送读目录请求,所述服务器端将所述第一页发送给所述客户端,所述客户端将所述第一页保存在本地页面缓存中;所述步骤2,所述客户端解析所述第一页首部中保存的最后一个所述目录项的结尾标志eof与cookie值,判断所述结尾标志eof是否为1,若是,则所述客户端读取所述第一页中的目录项,否则所述客户端根据所述页索引号与所述cookie值,向所述服务器端异步发送读目录请求,预读保存所述目录项的下一页。
-
公开(公告)号:CN104731527B
公开(公告)日:2018-09-07
申请号:CN201510115469.4
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种三条带状态转换方法,包括:更改三条带状态,其中三条带状态用于指示当前的逻辑条带及其位置关系;以及使纠删码位图指示更改后的纠删码条带位置和镜像条带位置上的哪些数据块构成纠删码条带。本发明降低了数据迁移导致的系统开销,提升了三条带系统的性能。
-
公开(公告)号:CN104991739B
公开(公告)日:2018-05-01
申请号:CN201510346978.8
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明涉及元数据服务器失效接替技术及非幂元数据等操作等领域,特别涉及元数据服务器失效接替中精确一次执行语义的方法及系统,包括:在客户端正常访问元数据服务器时,所述元数据服务器在会话session结构中为每个操作分配slotID、sequenceID以及存放响应结果的缓存空间,并将所述session结构持久写入到元数据磁盘上,并将所述slotID和所述sequenceID复制给备份服务器,所述备份服务器收到后,将所述slotID和所述sequenceID放入所述备份服务器缓存中;所述元数据服务器宕机之后,所述备份服务器从磁盘中读取所述session结构的信息,查找已经持久到磁盘上但并未给客户端发送回复结果的非幂等操作,根据所述session结构中的slot table重新构造所述回复结果并发送给客户端。
-
公开(公告)号:CN105119955A
公开(公告)日:2015-12-02
申请号:CN201510400944.2
申请日:2015-07-09
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: H04L67/02 , G06F17/30861 , H04L67/1097
Abstract: 本发明公开一种分布式文件系统中读目录多页支持的方法及系统,该方法包括:步骤1,客户端根据页索引号在本地页面缓存中查找保存目录项的待解析页,若存在,则解析出所述待解析页中的目录项信息,将解析出的所述目录项信息显示给用户,否则执行步骤2;所述步骤2,所述客户端向所述服务器发送读目录多页请求,等待所述服务器端返回给所述客户端请求的所述待解析页,所述客户端将所述待解析页保存在本地页面缓存中,并将解析出所述待解析页中保存的所述目录项信息显示给用户,其中所述待解析页为多个页。本发明能够发送一次请求获取多个保存目录项的页面,就减少了网络延迟时间的次数,从而减少了总的网络延迟时间。
-
公开(公告)号:CN104503706A
公开(公告)日:2015-04-08
申请号:CN201410810681.8
申请日:2014-12-23
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F3/0689 , G06F3/0611
Abstract: 本发明提供一种基于磁盘阵列的数据存储方法,其中每个条带包括空子条带和纠删码子条带;存储方法包括下列步骤:1)确定需要写入数据的条带并将其作为当前条带;2)当需要写入的数据是全条带数据时,将所述全条带数据写入当前条带的空子条带,写入完毕后将该空子条带转换为纠删码子条带;3)在新的纠删码子条带生效后,将当前条带的原有纠删码子条带转换为空子条带。所述条带还可以进一步包括镜像子条带。另外,本发明还提供了相应的基于磁盘阵列的数据读取方法。本发明能够解决纠删码技术中的WriteHole问题;能够提高基于纠删码的存储系统的I/O性能;无论在写入数据块较多还是较少时均能达到较高的性能。
-
-
-
-
-
-
-
-
-