-
公开(公告)号:CN104021137B
公开(公告)日:2017-06-09
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN104281506B
公开(公告)日:2017-02-15
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
公开(公告)号:CN105843560A
公开(公告)日:2016-08-10
申请号:CN201610218815.6
申请日:2016-04-08
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
CPC classification number: G06F3/0689 , G06F3/0646
Abstract: 本发明提出一种维护主从式双控软Raid6一致性的方法及系统,该方法包括主控制器节点中Raid6设备获取数据更新请求,主控制器节点中Raid6设备计算数据更新请求对应的数据更新位置,并在内存中记录位图更新状态A,并固化在主控制器节点的Raid6校验设备中,Raid6设备计算校验值,并对数据小盘Data Disk与校验小盘Parity Disk下发更新请求,写入快照源,作为新数据,当所有Data Disk与Parity Disk更新完成,在内存中记录位图更新状态B,固化在主控制器节点的校验设备中;并同步到从控制器节点中Raid6设备,并固化在从控制器节点的校验设备中;主控制器节点中Raid6设备在内存中找到位图更新状态为B的数据更新位置,通过对Data Disk与Parity Disk的发送Remap指令,将新数据重映射到快照设备Data Snapshot与Parity Snapshot。
-
公开(公告)号:CN103179185B
公开(公告)日:2015-07-08
申请号:CN201210570089.6
申请日:2012-12-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种分布式文件系统客户端缓存中文件创建方法及其系统,其中该方法包括:步骤1,客户端从元数据服务器获取目录写授权;步骤2,客户端在本地缓存中创建文件;步骤3,客户端异步提交所创建文件至元数据服务器。本发明方法解决了海量小文件应用场景中分布式文件系统现有技术无法有效减少文件创建时与元数据服务器同步网络交互开销的问题。
-
公开(公告)号:CN104731527A
公开(公告)日:2015-06-24
申请号:CN201510115469.4
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种三条带状态转换方法,包括:更改三条带状态,其中三条带状态用于指示当前的逻辑条带及其位置关系;以及使纠删码位图指示更改后的纠删码条带位置和镜像条带位置上的哪些数据块构成纠删码条带。本发明降低了数据迁移导致的系统开销,提升了三条带系统的性能。
-
公开(公告)号:CN104281506A
公开(公告)日:2015-01-14
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
公开(公告)号:CN103902660A
公开(公告)日:2014-07-02
申请号:CN201410076739.0
申请日:2014-03-04
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30203 , G06F17/30132 , H04L67/2847
Abstract: 本发明公开了一种机群文件系统中通过readdir++预取文件布局的系统及其方法,该系统包括:客户端模块(1),用于从服务器模块(2)获取或归还读目录授权;当获得该读目录授权后,向该服务器模块(2)发送读目录请求;将该服务器模块(2)发送的含有文件布局的页面存储于本地缓存中,该客户端模块(1)读取该目录下的文件时,直接使用本地缓存中存储的该文件布局;该服务器模块(2),用于向该客户端模块(1)授予或召回该读目录授权;当接收到该读目录请求时,还将包括文件布局在内的元数据信息封装在页面中,将该页面发送给该客户端模块(1)。由此,能减少读取文件时获取文件布局的网络交互开销,可大幅提升海量小文件的读取访问性能。
-
公开(公告)号:CN102075581B
公开(公告)日:2013-06-12
申请号:CN201110027458.2
申请日:2011-01-25
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04L29/08
Abstract: 本发明提供一种面向分布式文件系统的数据传输方法,包括下列步骤:1)客户端获取当前所要访问文件的元数据信息;所述元数据信息包括文件尺寸;2)根据是否超过文件尺寸阈值来选择当前所要访问文件的访问方式,所述访问方式在带内数据访问方式和带外数据访问方式中选择;3)客户端根据所选择的访问方式请求从文件元数据服务层或存储设备层获取文件数据。本发明还提供了相应的面向分布式文件系统的数据传输装置。与现有技术相比,本发明可以使分布式系统依据应用访问负载自适应地选择适合于被访问文件的数据访问方式,同时满足大文件和小文件访问的性能要求。并且,本发明中数据访问方式的切换对应用程序是透明的,无需对用户应用程序做任何修改。
-
公开(公告)号:CN102098344A
公开(公告)日:2011-06-15
申请号:CN201110041920.4
申请日:2011-02-21
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明提供一种网络存储中的缓存管理系统通过把本地节点写向缓存的数据备份到集群节点中的空闲网络缓存,来实现写缓存数据的高可靠性。采用“全局版本号+本地版本号+请求序号”的同步版本机制,同步调整全局版本号,异步调整本地版本号和请求序号,降低了节点之间的数据同步开销。而且主节点与备份节点通过在本地比较版本信息可以独自的将缓存数据写向后端存储系统,灵活有效的释放缓存资源;从而实现系统的高性能。
-
公开(公告)号:CN102053802A
公开(公告)日:2011-05-11
申请号:CN201010618419.5
申请日:2010-12-31
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种网络独立冗余磁盘阵列系统,包括有至少三个存储节点,每一个所述的存储节点包括有至少一个关联存储节点;所述存储节点包括:用于存储应用数据的数据卷、用于存储部分应用数据的活跃数据卷、用于接收应用读写请求的镜像子设备、用于管理数据卷和活跃数据卷中数据关系的数据管理子设备;用于计算校验块的冗余计算子设备、用于存储校验块数据的校验卷、用于存储最近修改的写活跃数据的缓存卷、用于接收写活跃数据请求和替换非活跃数据到所述冗余计算子设备的缓存子设备。本发明还提供了在网络独立冗余磁盘阵列系统上的数据处理方法。本发明的优点在于读请求的响应时间短,具有良好的读写性能;有较高的存储可靠性。
-
-
-
-
-
-
-
-
-