- 专利标题: 基于Storm的实时数据比对预警方法及系统
-
申请号: CN201810803452.1申请日: 2018-07-20
-
公开(公告)号: CN110750562B公开(公告)日: 2023-10-27
- 发明人: 李巍 , 柳庆 , 张舟
- 申请人: 宿迁市公安局 , 武汉烽火众智智慧之星科技有限公司
- 申请人地址: 江苏省宿迁市宿城区洪泽湖路152号;
- 专利权人: 宿迁市公安局,武汉烽火众智智慧之星科技有限公司
- 当前专利权人: 宿迁市公安局,武汉烽火众智智慧之星科技有限公司
- 当前专利权人地址: 江苏省宿迁市宿城区洪泽湖路152号;
- 代理机构: 北京汇泽知识产权代理有限公司
- 代理商 张小丽
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/2458 ; G06F16/28 ; G06F16/25
摘要:
本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。
公开/授权文献
- CN110750562A 基于Storm的实时数据比对预警方法及系统 公开/授权日:2020-02-04