公开(公告)号：CN110750562B

公开(公告)日：2023-10-27

申请号：CN201810803452.1

申请日：2018-07-20

Applicant: 宿迁市公安局 ,  武汉烽火众智智慧之星科技有限公司

Inventor： 李巍 ,  柳庆 ,  张舟

IPC: G06F16/2455 ,  G06F16/2458 ,  G06F16/28 ,  G06F16/25

Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统，该方法包括以下步骤：S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后，以json数据格式按不同数据源分主题发送至分布式Kafka消息队列；S2、将数据比对规则存储在RDBMS；S3、从RDBMS加载比对规则到内存，利用Storm集群技术，将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞，并新建Kafka主题存放实时比对的预警结果；S4、消费Kafka预警结果主题，将结果写入RDBMS，通过查询接口接收查询请求，进行预警展示。本发明不受数据源的限制，适用于不同来源的实时数据接入；提高了系统稳定性；提升整个业务场景下数据处理的性能，保证实时数据的低延迟比对预警。

公开(公告)号：CN110750562A

公开(公告)日：2020-02-04

申请号：CN201810803452.1

申请日：2018-07-20

Applicant: 武汉烽火众智智慧之星科技有限公司

Inventor： 李巍 ,  柳庆 ,  张舟

IPC: G06F16/2455 ,  G06F16/2458 ,  G06F16/28 ,  G06F16/25

Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统，该方法包括以下步骤：S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后，以json数据格式按不同数据源分主题发送至分布式Kafka消息队列；S2、将数据比对规则存储在RDBMS；S3、从RDBMS加载比对规则到内存，利用Storm集群技术，将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞，并新建Kafka主题存放实时比对的预警结果；S4、消费Kafka预警结果主题，将结果写入RDBMS，通过查询接口接收查询请求，进行预警展示。本发明不受数据源的限制，适用于不同来源的实时数据接入；提高了系统稳定性；提升整个业务场景下数据处理的性能，保证实时数据的低延迟比对预警。