-
公开(公告)号:CN104731527B
公开(公告)日:2018-09-07
申请号:CN201510115469.4
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种三条带状态转换方法,包括:更改三条带状态,其中三条带状态用于指示当前的逻辑条带及其位置关系;以及使纠删码位图指示更改后的纠删码条带位置和镜像条带位置上的哪些数据块构成纠删码条带。本发明降低了数据迁移导致的系统开销,提升了三条带系统的性能。
-
公开(公告)号:CN104991739B
公开(公告)日:2018-05-01
申请号:CN201510346978.8
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明涉及元数据服务器失效接替技术及非幂元数据等操作等领域,特别涉及元数据服务器失效接替中精确一次执行语义的方法及系统,包括:在客户端正常访问元数据服务器时,所述元数据服务器在会话session结构中为每个操作分配slotID、sequenceID以及存放响应结果的缓存空间,并将所述session结构持久写入到元数据磁盘上,并将所述slotID和所述sequenceID复制给备份服务器,所述备份服务器收到后,将所述slotID和所述sequenceID放入所述备份服务器缓存中;所述元数据服务器宕机之后,所述备份服务器从磁盘中读取所述session结构的信息,查找已经持久到磁盘上但并未给客户端发送回复结果的非幂等操作,根据所述session结构中的slot table重新构造所述回复结果并发送给客户端。
-
公开(公告)号:CN104503706A
公开(公告)日:2015-04-08
申请号:CN201410810681.8
申请日:2014-12-23
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F3/0689 , G06F3/0611
Abstract: 本发明提供一种基于磁盘阵列的数据存储方法,其中每个条带包括空子条带和纠删码子条带;存储方法包括下列步骤:1)确定需要写入数据的条带并将其作为当前条带;2)当需要写入的数据是全条带数据时,将所述全条带数据写入当前条带的空子条带,写入完毕后将该空子条带转换为纠删码子条带;3)在新的纠删码子条带生效后,将当前条带的原有纠删码子条带转换为空子条带。所述条带还可以进一步包括镜像子条带。另外,本发明还提供了相应的基于磁盘阵列的数据读取方法。本发明能够解决纠删码技术中的WriteHole问题;能够提高基于纠删码的存储系统的I/O性能;无论在写入数据块较多还是较少时均能达到较高的性能。
-
公开(公告)号:CN104021137A
公开(公告)日:2014-09-03
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30067 , H04L63/10
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN103944958A
公开(公告)日:2014-07-23
申请号:CN201410095627.X
申请日:2014-03-14
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种广域文件系统及实现方法,涉及文件系统技术领域,是在广域上适用的文件系统的一种实现方法。该系统包括:通过事件驱动模块接收操作请求,则根据所请求文件的节点号,通过缓存管理模块查询本地缓存中是否存在该文件,若存在,则从缓存中访问该文件,若不存在,则根据该节点号通过节点管理模块查询该文件在服务器端数据库中的路径名,并根据操作请求信息通过事件处理模块获得该文件和该文件元信息,将该文件和该文件元信息发送到缓存管理模块,缓存管理模块将该文件和该文件的元信息存入本地缓存。本发明不依赖于底层文件系统,仅要求底层文件系统可共享即可,并提供缓存的空间管理功能,提高了系统的资源利用率。
-
公开(公告)号:CN103179185A
公开(公告)日:2013-06-26
申请号:CN201210570089.6
申请日:2012-12-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种分布式文件系统客户端缓存中文件创建方法及其系统,其中该方法包括:步骤1,客户端从元数据服务器获取目录写授权;步骤2,客户端在本地缓存中创建文件;步骤3,客户端异步提交所创建文件至元数据服务器。本发明方法解决了海量小文件应用场景中分布式文件系统现有技术无法有效减少文件创建时与元数据服务器同步网络交互开销的问题。
-
公开(公告)号:CN102053802B
公开(公告)日:2012-09-05
申请号:CN201010618419.5
申请日:2010-12-31
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种网络独立冗余磁盘阵列系统,包括有至少三个存储节点,每一个所述的存储节点包括有至少一个关联存储节点;所述存储节点包括:用于存储应用数据的数据卷、用于存储部分应用数据的活跃数据卷、用于接收应用读写请求的镜像子设备、用于管理数据卷和活跃数据卷中数据关系的数据管理子设备;用于计算校验块的冗余计算子设备、用于存储校验块数据的校验卷、用于存储最近修改的写活跃数据的缓存卷、用于接收写活跃数据请求和替换非活跃数据到所述冗余计算子设备的缓存子设备。本发明还提供了在网络独立冗余磁盘阵列系统上的数据处理方法。本发明的优点在于读请求的响应时间短,具有良好的读写性能;有较高的存储可靠性。
-
公开(公告)号:CN101615146B
公开(公告)日:2011-06-01
申请号:CN200910088121.5
申请日:2009-07-08
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明涉及磁盘阵列在线重构系统及其方法,所述系统包括备援盘,备份系统,用于备份所述磁盘阵列;日常监控模块,用于监控所述磁盘阵列的运行状态,在发生磁盘失效时,启动恢复管理模块;所述恢复管理模块,用于依据所述失效磁盘的在所述备份系统的备份数据和所述磁盘阵列中未失效的磁盘虚拟出所述失效磁盘的虚拟磁盘,在重构过程中,以所述虚拟磁盘替代所述失效磁盘为应用提供服务;所述恢复管理模块,还用于进行所述重构过程,所述重构过程为将所述失效磁盘的数据重构于所述备援盘,重构完成后,以所述备援盘代替所述失效磁盘。本发明能够避免重构负载和正常应用负载完全冲突导致双方性能恶化。
-
公开(公告)号:CN108376053B
公开(公告)日:2020-02-28
申请号:CN201810065182.9
申请日:2018-01-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种支持原地更新的瓦记录写顺序化方法及装置,涉及计算机存储领域,该方法包括瓦记录磁盘中的带划分为随机带、半随机带、顺序带;初始时瓦记录磁盘中的带由随机带与顺序带组成,如果应用以非顺序写为主,则随机带的比例高于顺序带的比例,如果应用以顺序写为主,则顺序带的比例高于随机带的比例,当随机带中的可写磁道被写满时,将写满的随机带转换为半随机带,以增加带内可写入空间;当半随机带中的可写磁道被写满时,将被写满的半随机带转换为顺序带。本发明将瓦记录磁盘的带划分为三种类型,将随机写顺序化,并且支持原地更新,从而避免了瓦记录整带的RMW过程,一定程度上提升了瓦记录磁盘非顺序写性能。
-
公开(公告)号:CN106970764A
公开(公告)日:2017-07-21
申请号:CN201710102277.9
申请日:2017-02-24
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F3/0689 , G06F3/061 , G06F3/0638 , G06F3/0656
Abstract: 本发明提出一种基于条带版本的瓦记录RAID写顺序化方法及系统,涉及计算机存储技术领域,该方法包括设置高速持久缓存,用于接收所有非顺序写请求,当所述高速持久缓存被写到水位时触发下刷,其中以组为单位进行下刷,下刷时为要写入组中的各条带生成新版本;对于条带的每一个版本,计算一次校验,并将条带数据与校验顺序的写入带内。本发明避免了传统RAID5/6小写产生的RMW过程和瓦记录磁盘的RMW过程,提升了系统的整体性能。
-
-
-
-
-
-
-
-
-