基于Storm的实时数据比对预警方法及系统
摘要:
本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。
公开/授权文献
0/0