基于Hadoop的电信业务小文件存储系统及方法

    公开(公告)号:CN104778229A

    公开(公告)日:2015-07-15

    申请号:CN201510145487.7

    申请日:2015-03-31

    Abstract: 本发明公开一种基于Hadoop的电信业务小文件存储系统及方法,包括数据采集单元、数据传输单元和HDFS,数据传输单元和HDFS之间设有文件预处理单元,包括主服务器和分布式并行小文件处理服务器,分布式并行小文件处理服务器根据文件类型的不同存储相应的小文件。当用户文件通过数据传输单元上传至文件预处理单元时,主服务器判断该文件的大小,将小文件存至分布式并行小文件处理服务器,利用SequenceFile 容器对小文件进行合并和建立索引。本发明算法简单,存储和读取文件方便快捷,速度快,效率高。

Patent Agency Ranking