-
公开(公告)号:CN105718561A
公开(公告)日:2016-06-29
申请号:CN201610037778.9
申请日:2016-01-20
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F16/174 , G06F16/13 , G06F16/182
Abstract: 本发明提出一种特定分布式数据存储文件结构去冗余构造方法及系统,涉及分布式系统技术领域,采用该方法构造的数据存储文件不会影响分布式顺序表的访问方式,本方法侧重存储文件构造中数据转换过程的优化,包括数据拆分步骤、数据合并步骤、数据拼接步骤,具体步骤为:创建底层存储文件格式,将底层存储文件以所述底层存储文件格式进行存储,生成新底层存储文件;设置读取所述新底层存储文件的存储文件读取方式,将所述新底层存储文件还原成分布式系统能够读取的原始底层存储文件,并进行读取,本发明能够减少底层存储文件的冗余信息,减少数据加载时计算资源的消耗,同时减少生成的存储文件的大小,提高了加载性能。