-
公开(公告)号：CN116775632A
公开(公告)日：2023-09-19
申请号：CN202310747427.7
申请日：2023-06-25
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F16/215 , G06F16/242 , G06F16/28
摘要： 本发明提供一种基于车载终端采集数据的近实时清洗数据执行方法，包括车载终端采集数据模块、多源数据简单处理模块、多源数据复杂替补模块、驾驶行为计算模块及离线查询OLAP数据分析，通过使用车辆基本参数动态获取、预设阈值可配置、基准值缓存和线性增长拟合变化过滤等多种过滤方式对车载终端获取的各类数据进行多次过滤，剔除掉多余的、无效的、错误的数据然后再进行数据替换和有效填补，相比以往的车辆处理数据更为逻辑复杂，因只处理靠前时间段内的数据所以负荷小的优点，处理节点能快速执行完成任务，而表现为处理的数据速度明显提高，准确性明显提高，处理的数据种类较高。
-
公开(公告)号：CN115221134A
公开(公告)日：2022-10-21
申请号：CN202210840831.4
申请日：2022-07-18
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F16/174 , G06F16/182 , G06F9/50 , H04L67/12 , H04L69/04 , G16Y20/00
摘要： 本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质，属于车联网数据处理领域，包括网关实时接收车载终端上报的海量数据，并将数据分发至KAFKA集群；订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；对写入本地磁盘中的数据进行实时压缩，包括：采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；将产生的子文件上传至集群HDFS，利用定时任务每天将7天前的数据进行滚动合并，最终每天产生一个总文件。该方法采用实时压缩框架，可以对海量车联网数据实现实时采集、压缩以及归档，存储延迟小，减小硬盘空间占用率。
-
公开(公告)号：CN112181920A
公开(公告)日：2021-01-05
申请号：CN202011016191.2
申请日：2020-09-24
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F16/174 , G06F16/22
摘要： 本发明属于车联网技术领域,涉及一种车联网大数据高性能压缩存储方法及系统，通过把车联网终端上报的数据经过多次不同格式转存后，最终进行结构化的压缩存储，极大化的减少了存储资源的开销，并且半结构化的存储使得后期的数据导出、监控和计算都变得简单起来，解决了在线车辆数量随时间为线性增长，而随着时间的推移，现有硬件已经无法满足存储的数据量迅速增长以及灵活快速检索的需求的问题。
-
公开(公告)号：CN117171701B
公开(公告)日：2024-05-14
申请号：CN202311019309.0
申请日：2023-08-14
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F18/25 , G06F18/24 , G06F18/15 , G06F16/2458 , G06F16/29
摘要： 本发明公开了一种车辆行驶数据处理方法、装置、设备和介质，涉及计算机技术领域。先按照车载终端所在车辆对获取的源数据包进行分类，然后针对每个车辆对应的源数据包，从中选取作为参考的主数据包和以主数据包为参考的待对齐数据包。接着将主数据包与各待对齐数据包进行对齐合并得到目标数据包，并遍历各目标数据包，统一计算由统计业务需求确定的各统计项对应的统计值，最后适应性选择数据库对统计结果进行存储。本发明将预设时间周期内各类型数据的源数据包进行对齐合并，从而可在一次遍历中，得到所有所需统计项的统计值，避免了多次遍历中数据的存取位置和数据存储结构的变更，降低了计算周期和维护成本。
-
公开(公告)号：CN118238825A
公开(公告)日：2024-06-25
申请号：CN202410556490.7
申请日：2024-05-07
申请人： 陕西天行健车联网信息技术有限公司
摘要： 本申请的实施例涉及车辆监测技术领域，公开了一种车辆冲入避险车道后驾驶员状态的监测方法、设备及介质。该方法包括：检测车辆是否已冲入避险车道；若车辆已冲入避险车道，则检测车辆是否已拉下手刹；若车辆已拉下手刹，则检测车辆当前是否处于熄火状态；若车辆当前处于熄火状态，则检测车辆主驾的安全带是否已解开，以及车辆的主驾门是否出现先开后关的情况，以确定车辆在冲入避险车道后驾驶员是否处于正常状态，并已离开车辆。本申请的实施例所提供的车辆冲入避险车道后驾驶员状态的监测方法，可以准确识别出车辆在冲入避险车道后驾驶员是否处于正常状态，从而可以在驾驶员的状态为非正常时，及时对其实施救援，保证车辆与驾驶员的安全。
-
公开(公告)号：CN117171701A
公开(公告)日：2023-12-05
申请号：CN202311019309.0
申请日：2023-08-14
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F18/25 , G06F18/24 , G06F18/15 , G06F16/2458 , G06F16/29
摘要： 本发明公开了一种车辆行驶数据处理方法、装置、设备和介质，涉及计算机技术领域。先按照车载终端所在车辆对获取的源数据包进行分类，然后针对每个车辆对应的源数据包，从中选取作为参考的主数据包和以主数据包为参考的待对齐数据包。接着将主数据包与各待对齐数据包进行对齐合并得到目标数据包，并遍历各目标数据包，统一计算由统计业务需求确定的各统计项对应的统计值，最后适应性选择数据库对统计结果进行存储。本发明将预设时间周期内各类型数据的源数据包进行对齐合并，从而可在一次遍历中，得到所有所需统计项的统计值，避免了多次遍历中数据的存取位置和数据存储结构的变更，降低了计算周期和维护成本。
-
公开(公告)号：CN115221134B
公开(公告)日：2023-05-05
申请号：CN202210840831.4
申请日：2022-07-18
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F16/174 , G06F16/182 , G06F9/50 , H04L67/12 , H04L69/04 , G16Y20/00
摘要： 本发明提供了一种车联网数据的分布式实时压缩方法、装置及存储介质，属于车联网数据处理领域，包括网关实时接收车载终端上报的海量数据，并将数据分发至KAFKA集群；订阅KAFKA按照业务标签分类的相关主题，按照相关主题的分区消费数据，并将消费出来的数据实时写入本地磁盘；对写入本地磁盘中的数据进行实时压缩，包括：采用分布式多线程对本地磁盘中的数据进行压缩，压缩过程中每个线程产生一个子文件；将产生的子文件上传至集群HDFS，利用定时任务每天将7天前的数据进行滚动合并，最终每天产生一个总文件。该方法采用实时压缩框架，可以对海量车联网数据实现实时采集、压缩以及归档，存储延迟小，减小硬盘空间占用率。
-
公开(公告)号：CN111158953A
公开(公告)日：2020-05-15
申请号：CN201911305099.5
申请日：2019-12-17
申请人： 陕西天行健车联网信息技术有限公司
IPC分类号： G06F11/14
摘要： 本发明公开了一种车辆数据实时聚集方法，数据源从kafka集群消费，保证数据源的实时性；然后在基于kafka无界流分窗口汇总数据结果，获取到数据源后，基实时运算汇总进行分组运算和汇总；数据汇总可达有20个维度的计算，其结果分别缓存到redis存储，从而可持续地写入运算结果到redis缓存，并且将redis充当为一个可无限循环写入的缓存数据库，再由定时任务去读取并更新到关系型数据库。本发明可以实现最新数据的汇总及更新，整个运算和写入缓存再到持久化总共时间控制在延迟10分钟以内；与T+1汇总相比，数据的实时性更高，持续更新运算结果，效率更高。
-
-
-
-
-
-
-
搜索结果
8 条记录 (耗时 0.054 秒)
