-
公开(公告)号:CN110750562B
公开(公告)日:2023-10-27
申请号:CN201810803452.1
申请日:2018-07-20
Applicant: 宿迁市公安局 , 武汉烽火众智智慧之星科技有限公司
IPC: G06F16/2455 , G06F16/2458 , G06F16/28 , G06F16/25
Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。
-
公开(公告)号:CN110750562A
公开(公告)日:2020-02-04
申请号:CN201810803452.1
申请日:2018-07-20
Applicant: 武汉烽火众智智慧之星科技有限公司
IPC: G06F16/2455 , G06F16/2458 , G06F16/28 , G06F16/25
Abstract: 本发明提供了一种基于Storm的实时数据比对预警方法及系统,该方法包括以下步骤:S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后,以json数据格式按不同数据源分主题发送至分布式Kafka消息队列;S2、将数据比对规则存储在RDBMS;S3、从RDBMS加载比对规则到内存,利用Storm集群技术,将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞,并新建Kafka主题存放实时比对的预警结果;S4、消费Kafka预警结果主题,将结果写入RDBMS,通过查询接口接收查询请求,进行预警展示。本发明不受数据源的限制,适用于不同来源的实时数据接入;提高了系统稳定性;提升整个业务场景下数据处理的性能,保证实时数据的低延迟比对预警。
-
公开(公告)号:CN110737672A
公开(公告)日:2020-01-31
申请号:CN201810805456.3
申请日:2018-07-20
Applicant: 武汉烽火众智智慧之星科技有限公司
IPC: G06F16/242 , G06F16/248
Abstract: 本发明提供了一种数据可视化方法及装置,方法包括:获得多个图表,从所获得的多个图表中确定各个待组合图表,对各个待组合图表进行组合显示;其中,通过以下方式获得每一图表:获得界面打开指令,显示数据库连接界面,获得用户通过数据库连接界面输入的待连接数据库的连接信息;利用连接信息,与待连接数据库建立连接;在成功建立连接后,显示数据配置界面,获得用户通过数据配置界面输入的数据表信息和图表配置信息,基于数据表信息生成查询语句;并利用查询语句,得到待显示数据;对图表配置信息和待显示数据进行渲染,得到包含待显示数据的图表。应用本发明实施例,简化了操作过程,提高了通用性。
-
-