一种车联网数据的分布式实时压缩方法、装置及存储介质
摘要:
本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质,属于车联网数据处理领域,包括网关实时接收车载终端上报的海量数据,并将数据分发至KAFKA集群;订阅KAFKA按照业务标签分类的相关主题,按照相关主题的分区消费数据,并将消费出来的数据实时写入本地磁盘;对写入本地磁盘中的数据进行实时压缩,包括:采用分布式多线程对本地磁盘中的数据进行压缩,压缩过程中每个线程产生一个子文件;将产生的子文件上传至集群HDFS,利用定时任务每天将7天前的数据进行滚动合并,最终每天产生一个总文件。该方法采用实时压缩框架,可以对海量车联网数据实现实时采集、压缩以及归档,存储延迟小,减小硬盘空间占用率。
0/0