-
公开(公告)号:CN107609158A
公开(公告)日:2018-01-19
申请号:CN201710881173.2
申请日:2017-09-26
Applicant: 北京计算机技术及应用研究所
IPC: G06F17/30
Abstract: 本发明涉及一种基于Flume的高可靠数据采集及存储方法,涉及数据处理技术领域。本发明基于Flume和文件系统HDFS设计了一种改进的数据采集及存储方法,能够最大可能在大量数据高速存储的时候保证数据不丢失,同时减少数据写入文件系统造成的拥堵,提升数据写入的性能。