-
公开(公告)号:CN103096126B
公开(公告)日:2015-09-30
申请号:CN201210587473.7
申请日:2012-12-28
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04N21/218 , H04N21/222 , H04N21/232
Abstract: 本发明协作式缓存集群中面向视频点播服务的协作式缓存方法和系统。其中,将每个视频文件的数据分片与缓存节点的索引号相关联,将每个数据分片缓存在与其关联的缓存节点上。收到访问数据分片的请求时将其定向到与要访问的数据分配关联的缓存节点,并且可以指示其他缓存节点预取下一个数据分片。该方法使得每个视频文件只放置一份数据,提高了缓存的空间利用率和读取命中率,同时避免了单台服务器出现热点,增强了缓存系统整体的扩展性。此外,通过协作式数据预取技术,避免了在仅进行简单数据分片情况下可能影响视频点播服务质量的播放抖动问题,不影响视频点播的服务质量。
-
公开(公告)号:CN104794182A
公开(公告)日:2015-07-22
申请号:CN201510169280.3
申请日:2015-04-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及并行网络文件系统,特别涉及一种并行网络文件系统小文件异步预读装置及方法,该装置包括:客户端模块,用于接收服务器授予的客户端扩展只读目录授权,将与所述文件目录相关联的页面放入页面缓存中,所述客户端从所述页面缓存读取所述文件目录的数据,若所述文件目录的数据在所述页面缓存中未命中,则检查所述匿名页链表中是否有相应匿名页面,若命中,则将所述匿名页面返回给上层应用,若不命中,则发起同步读盘操作,其中,所述匿名页链表中剩余页面的数目与一次磁盘访问的页面数目的比值低于设定的阈值时,触发所述匿名页链表的异步预读;服务器端模块,用于获取所述操作请求,并向所述客户端模块授予所述客户端扩展只读目录授权。
-
公开(公告)号:CN102750322B
公开(公告)日:2014-11-05
申请号:CN201210159873.8
申请日:2012-05-22
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开一种机群文件系统分布式元数据一致性保证方法和系统,所述方法包括:步骤1,协调者对第一个子操作的可执行性进行预先检查,协调者向参与者发送请求信息,由参与者执行第二个子操作,参与者执行完毕之后,返回执行之后的信息给协调者,协调者和参与者写入日志文件;步骤2,根据协调者和参与者日志文件的Commit日志记录组合,对于机群文件系统一致性进行恢复。
-
公开(公告)号:CN103916465A
公开(公告)日:2014-07-09
申请号:CN201410108037.6
申请日:2014-03-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种基于分布式文件系统的数据预读装置,该数据预读装置包括:客户端模块、元数据服务器模块和数据存储模块;客户端模块通过访问元数据服务器模块获取目录读取扩展授权和小文件布局,根据小文件布局将小文件数据和与该小文件数据空间连续的大粒度数据同时从数据存储模块中预读到客户端模块的缓存中。本发明还公开了一种基于分布式文件系统的数据预读方法。
-
公开(公告)号:CN103096126A
公开(公告)日:2013-05-08
申请号:CN201210587473.7
申请日:2012-12-28
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04N21/218 , H04N21/222 , H04N21/232
Abstract: 本发明协作式缓存集群中面向视频点播服务的协作式缓存方法和系统。其中,将每个视频文件的数据分片与缓存节点的索引号相关联,将每个数据分片缓存在与其关联的缓存节点上。收到访问数据分片的请求时将其定向到与要访问的数据分配关联的缓存节点,并且可以指示其他缓存节点预取下一个数据分片。该方法使得每个视频文件只放置一份数据,提高了缓存的空间利用率和读取命中率,同时避免了单台服务器出现热点,增强了缓存系统整体的扩展性。此外,通过协作式数据预取技术,避免了在仅进行简单数据分片情况下可能影响视频点播服务质量的播放抖动问题,不影响视频点播的服务质量。
-
公开(公告)号:CN102158546B
公开(公告)日:2013-05-08
申请号:CN201110047626.4
申请日:2011-02-28
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: H04L29/08
Abstract: 本发明提供一种集群文件系统,其特征在于,包括:目录服务器,用于存储目录元数据并提供目录服务;布局服务器机群,用于存储布局元数据并提供布局服务;以及存储设备阵列,用于存储文件内容数据。本发明还提供了相应的文件服务方法。所述文件服务方法包括文件访问步骤:客户端首先访问目录服务器获取文件的目录信息;然后访问布局服务器获取文件数据在物理存储设备上的分布信息;最后直接访问物理存储设备获取数据信息。与现有技术相比,本发明能够进一步提高文件集群系统的扩展能力;本发明兼容性强且访问延时小。
-
公开(公告)号:CN103077222A
公开(公告)日:2013-05-01
申请号:CN201210591061.0
申请日:2012-12-31
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明提供一种结合本地日志的机群文件系统分布式元数据操作一致性保证方法。其中,协调者和参与者将为分布式元数据子操作生成的分布式元数据子操作更新记录作为一个本地事务记录在本地日志中,所述分布式元数据子操作更新记录包括分布式事务和/或分布式元数据更新,在本地事务提交之后,所述分布式事务被写入到分布式日志中,所述分布式元数据更新被写入到元数据磁盘。该方法还包括在开始分布式元数据子操作之前对本地日志事务进行强制提交的步骤。该方法有效地复用了本地日志,降低了分布式日志的实现复杂度,此外,还能够避免出现级联撤销。
-
公开(公告)号:CN102790797A
公开(公告)日:2012-11-21
申请号:CN201210160339.9
申请日:2012-05-22
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开一种机群文件系统客户端存储资源延迟分配方法和系统,该方法包括:步骤1,客户端根据文件布局操作情况,进行存储资源延迟分配;步骤2,在文件删除时对存储资源回收,处理客户端延迟分配的存储资源回收;步骤3,对存储资源在客户端与元数据服务器之间的一致性进行维护。
-
公开(公告)号:CN100557571C
公开(公告)日:2009-11-04
申请号:CN200710179431.9
申请日:2007-12-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种资源分配方法和系统,首先申请资源,获取(blk_start,blk_len),在文件索引节点中增加(blk_offset,blk_start,blk_len)域;然后从预分配资源中获取资源记录到文件布局中,进行资源分配;释放文件布局资源,如果存在预分配资源,则释放预分配资源。通过持久预分配技术,使得本方法和系统适用范围广,而且本发明通过采用异步回收机制对预分配资源进行回收,避免了文件数量巨大情况下的空间浪费严重,且能够自动确定预分配的粒度。
-
公开(公告)号:CN101178677A
公开(公告)日:2008-05-14
申请号:CN200710177135.5
申请日:2007-11-09
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种目录级计算机文件系统快照的创建方法,包括:确定需要创建快照的目录;当目录第一次创建快照时,将目录工作版本的根索引节点信息添加到快照集索引表中,更新最近一次创建或者删除快照集的时间点;分配一个新的索引节点作为所要创建的快照版本的根索引节点,并将工作版本的根索引节点的内容复制到新分配的索引节点中;将工作版本的写时拷贝链表复制到新创建快照的根索引节点上,然后清空工作版本的写时拷贝链表内容;将快照版本的根索引节点的快照创建时间设置为计算机系统的当前时间;将快照版本的根索引节点链接到目录的快照链表上。本发明还提供了目录级计算机文件系统快照的删除方法,以及目录工作版本修改方法。
-
-
-
-
-
-
-
-
-