- 专利标题: 一种车联网数据的分布式实时压缩方法、装置及存储介质
-
申请号: CN202210840831.4申请日: 2022-07-18
-
公开(公告)号: CN115221134B公开(公告)日: 2023-05-05
- 发明人: 王杰 , 王小林 , 李晓鹏 , 杨盼龙 , 王继君 , 孟宪芳 , 冶少刚 , 邱梅芳 , 曾小丽
- 申请人: 陕西天行健车联网信息技术有限公司
- 申请人地址: 陕西省西安市经济技术开发区泾渭新城西金路西段29号泾渭国际中心1幢1单元16层
- 专利权人: 陕西天行健车联网信息技术有限公司
- 当前专利权人: 陕西天行健车联网信息技术有限公司
- 当前专利权人地址: 陕西省西安市经济技术开发区泾渭新城西金路西段29号泾渭国际中心1幢1单元16层
- 代理机构: 西安铭泽知识产权代理事务所
- 代理商 姬莉
- 主分类号: G06F16/174
- IPC分类号: G06F16/174 ; G06F16/182 ; G06F9/50 ; H04L67/12 ; H04L69/04 ; G16Y20/00
摘要:
本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质,属于车联网数据处理领域,包括网关实时接收车载终端上报的海量数据,并将数据分发至KAFKA集群;订阅KAFKA按照业务标签分类的相关主题,按照相关主题的分区消费数据,并将消费出来的数据实时写入本地磁盘;对写入本地磁盘中的数据进行实时压缩,包括:采用分布式多线程对本地磁盘中的数据进行压缩,压缩过程中每个线程产生一个子文件;将产生的子文件上传至集群HDFS,利用定时任务每天将7天前的数据进行滚动合并,最终每天产生一个总文件。该方法采用实时压缩框架,可以对海量车联网数据实现实时采集、压缩以及归档,存储延迟小,减小硬盘空间占用率。
公开/授权文献
- CN115221134A 一种车联网数据的分布式实时压缩方法、装置及存储介质 公开/授权日:2022-10-21