基于Storm的实时数据比对预警方法及系统

    公开(公告)号:CN110750562B

    公开(公告)日:2023-10-27

    申请号:CN201810803452.1

    申请日:2018-07-20

    Inventor: 李巍 柳庆 张舟

    Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。

    基于Storm的实时数据比对预警方法及系统

    公开(公告)号:CN110750562A

    公开(公告)日:2020-02-04

    申请号:CN201810803452.1

    申请日:2018-07-20

    Inventor: 李巍 柳庆 张舟

    Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。

    一种数据可视化方法及装置

    公开(公告)号:CN110737672A

    公开(公告)日:2020-01-31

    申请号:CN201810805456.3

    申请日:2018-07-20

    Inventor: 杜伟 陈昌敏 李巍

    Abstract: 本发明提供了一种数据可视化方法及装置,方法包括:获得多个图表,从所获得的多个图表中确定各个待组合图表,对各个待组合图表进行组合显示;其中,通过以下方式获得每一图表:获得界面打开指令,显示数据库连接界面,获得用户通过数据库连接界面输入的待连接数据库的连接信息;利用连接信息,与待连接数据库建立连接;在成功建立连接后,显示数据配置界面,获得用户通过数据配置界面输入的数据表信息和图表配置信息,基于数据表信息生成查询语句;并利用查询语句,得到待显示数据;对图表配置信息和待显示数据进行渲染,得到包含待显示数据的图表。应用本发明实施例,简化了操作过程,提高了通用性。

Patent Agency Ranking