-
公开(公告)号:CN106528451B
公开(公告)日:2019-09-03
申请号:CN201611001521.4
申请日:2016-11-14
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F12/0862
Abstract: 公开了针对小文件的二级缓存预取的云存储框架及构建方法,其中云存储框架包括:对象存储器、关联性计算模块、数据合并模块、存储节点缓存模块和代理节点缓存模块。本发明首先计算不同对象之间的关联性,并将关联度高的对象合并为一个数据集合,通过对这些数据集合进行缓存来达到数据预取的目的。一方面可以将随机磁盘访问转变为连续磁盘访问,提高存储系统的效率;另一方面通过一次性将对象集合转入代理节点缓存模块进行预读,能够节省网络开销;另外将关联度高的小文件合并也减少了元数据的数量,减少对象访问时元数据的操作时间。
-
公开(公告)号:CN106528451A
公开(公告)日:2017-03-22
申请号:CN201611001521.4
申请日:2016-11-14
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F12/0862
Abstract: 公开了针对小文件的二级缓存预取的云存储框架及构建方法,其中云存储框架包括:对象存储器、关联性计算模块、数据合并模块、存储节点缓存模块和代理节点缓存模块。本发明首先计算不同对象之间的关联性,并将关联度高的对象合并为一个数据集合,通过对这些数据集合进行缓存来达到数据预取的目的。一方面可以将随机磁盘访问转变为连续磁盘访问,提高存储系统的效率;另一方面通过一次性将对象集合转入代理节点缓存模块进行预读,能够节省网络开销;另外将关联度高的小文件合并也减少了元数据的数量,减少对象访问时元数据的操作时间。
-
公开(公告)号:CN106776967B
公开(公告)日:2020-03-27
申请号:CN201611104325.X
申请日:2016-12-05
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F16/182 , G06F16/172 , G06F16/13
Abstract: 本发明涉及一种基于时序聚合算法的海量小文件实时存储方法及装置,其解决了现有分布式文件系统用于海量小文件时存在的存储效率低的技术问题,其采用数据聚合策略以数据的时间特性定义聚合空间,完成时序数据合并存储,通过将随机写转化为顺序写,本发明可广泛应用于海量小文件的存储。
-
公开(公告)号:CN106776967A
公开(公告)日:2017-05-31
申请号:CN201611104325.X
申请日:2016-12-05
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于时序聚合算法的海量小文件实时存储方法及装置,其解决了现有分布式文件系统用于海量小文件时存在的存储效率低的技术问题,其采用数据聚合策略以数据的时间特性定义聚合空间,完成时序数据合并存储,通过将随机写转化为顺序写,本发明可广泛应用于海量小文件的存储。
-
-
-