一种优化维度组合的多维分析方法和系统

    公开(公告)号:CN114880343A

    公开(公告)日:2022-08-09

    申请号:CN202210483036.4

    申请日:2022-05-05

    Abstract: 本发明公开了一种优化维度组合的多维分析方法和系统,涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统,数据源模块支持导入Hive数据和Kafka消息队列,并对外提供Restful风格的接口方便调用;构建预处理cube模块时,提供可视化的客户端界面,用户可以自行选择维度、度量来构建符合自身需求;构建cube中提供了高级可选项,其中包含衍生维度的选择,聚合组的添加,必须维度的确定,层级制度及联合维度的设定;计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。

    一种用于钢铁冶炼产线上的实时报警方法

    公开(公告)号:CN114567657A

    公开(公告)日:2022-05-31

    申请号:CN202210232609.6

    申请日:2022-03-10

    Abstract: 本发明公开了一种用于钢铁冶炼产线上的实时报警方法,包括如下步骤:设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件;MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka,通过消息队列Kafka将报警服务与其它服务解耦;规则引擎从Kafka中获取设备数据后,根据设备唯一标志符,从非关系型数据库Redis中按照业务需求获取预设的相应报警规则,匹配触发报警条件的数据阈值;规则引擎对设备数据进行处理,处于正常值域的设备数据直接跳过,数据处理后触发的报警生成报警通知并发送。本发明降低了服务器压力、数据存储压力、网络流量压力,提高了报警通知的实时性。

    一种全流程支持拖拉拽的自动化分布式任务流调度系统

    公开(公告)号:CN114546348A

    公开(公告)日:2022-05-27

    申请号:CN202210251893.1

    申请日:2022-03-15

    Abstract: 本发明涉及调度系统技术领域,具体为一种全流程支持拖拉拽的自动化分布式任务流调度系统,包括GG‑editor绘图框架、Activiti工作流框架、Quartz分布式定时调度框架;其中,Activiti工作流框架和Quartz分布式定时调度框架实现自动化分布式任务流调度;所述Activiti工作流框架实现复杂业务场景的任务流自定义配置;所述Quartz分布式定时调度框架实现该任务流的分布式调度;所述GG‑editor绘图框架实现可视化拖拽,工作流流程图的设计。本发明通过Activiti框架和Quartz框架,适用于复杂业务场景工作流设计,可视化拖拽组件简单灵活,支持大批量数据采集,每天可支持TB级数据量采集,每天采集数据可达亿条,支持复杂的任务流调度,任务流调度响应时间 =95%。

    一种数据源管理方法
    5.
    发明公开

    公开(公告)号:CN119066247A

    公开(公告)日:2024-12-03

    申请号:CN202411094436.1

    申请日:2024-08-09

    Abstract: 本发明公开了一种数据源管理方法,涉及数据管理技术领域,该数据源管理方法,包括以下步骤:第一步:预处理器预处理请求,解析元数据信息,包含集群名称,连接方式,构建Elasticsearch客户端;第二步:导入velocity模板引擎,通过转换器将请求解析换传成与之对应的消息体。构建请求参数;第三步:导入httpclient模块,通过http请求访问与之对应的Elasticsearch集群,拿到返回结果,通过解析器统一处理结果,返回数据;兼容多个版本Elasticsearch集群的多数据源管理系统。在预处理器和转换器下,结合velocity模板引擎生成对应不同版本的请求消息体,再通过https/http和与之相应的Elasticsearch交互,解析器统一处理返回。在以此为核心的前提下,简化了Elasticsearch集群的操作难度,实现了索引管理,数据流归档查询,数据归档等功能。

    一种多类型数据库配置代码生成方法、装置及电子设备

    公开(公告)号:CN116126297A

    公开(公告)日:2023-05-16

    申请号:CN202310213398.6

    申请日:2023-03-07

    Abstract: 本发明提供一种多类型数据库配置代码生成方法、装置及电子设备。该方法包括:获取待配置数据库的数据库类型、操作方式和操作参数。根据数据库类型和操作方式,查询预设映射关系,确定SQL代码模板。根据SQL代码模板,操作参数,进行填充生成,得到与数据库类型和操作方式对应的SQL代码实例。根据SQL代码实例,以及预设模板引擎,进行渲染生成,得到待配置数据库的配置代码。本发明根据数据库类型和数据库操作类型生成对应的SQL代码,再将SQL代码渲染进数据库配置模板,生成数据库配置代码实例。根据数据库类型生成对应格式的数据库配置代码,避免针对不同类型数据库重复编写配置代码,提高了软件开发效率。

    一种基于Apache Flink的ETL数据处理系统及方法

    公开(公告)号:CN115757597A

    公开(公告)日:2023-03-07

    申请号:CN202211675433.8

    申请日:2022-12-26

    Abstract: 本发明提供了一种基于Apache Flink的ETL数据处理系统及方法,系统包括数据源组件配置服务模块、数据转换组件配置服务模块、ETL任务配置服务模块、ETL任务解析器和ETL任务监控服务模块;数据源组件配置服务模块用于对不同类型的数据源组件进行配置,数据转换组件配置服务模块用于对不同类型的数据转换组件进行配置,ETL任务配置服务模块用于配置ETL任务所需要的数据源组件和数据转换组件及转换流程;ETL任务解析器用于对待执行的ETL任务进行解析并将解析后的任务信息发送给远程集群运行;ETL任务监控服务模块用于对远程集群的ETL任务运行状态进行监控。本发明支持连接多种异构数据源并以数据流的形式在系统中传递,提供对数据流进行数据转换的操作。

    一种基于zeppelin的交互式分析系统

    公开(公告)号:CN114780178A

    公开(公告)日:2022-07-22

    申请号:CN202210459346.2

    申请日:2022-04-27

    Abstract: 本发明公开了一种基于zeppelin的交互式分析系统,涉及计算机大数据分技术领域。包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端,所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器,所述zeppelin server为管理zeppelin interpreter的处理器,以及调度交互式分析任务、分配资源的中央管理器,所述外围模块对开源组件apache zeppelin进行封装,所述浏览器端用于登录访问所述外围模块。该基于zeppelin的交互式分析系统,工作区管理模块使用户可以管理自己的笔记本单元,统一管理笔记本;任务管理模块使用户可以更加方便地管理任务,便于用户进行任务的编写、运行或停止。

    一种基于区块链的钢铁供应链信息秘密共享方法及系统

    公开(公告)号:CN112380179A

    公开(公告)日:2021-02-19

    申请号:CN202011463361.1

    申请日:2020-12-14

    Abstract: 本发明公开了一种基于区块链的钢铁供应链信息秘密共享方法及系统,方法包括步骤:1)将供应链上的物流明文数据和供应链上下游企业提供的企业信息录入区块链联盟链节点;2)利用属性加密算法将得到的数据通过密钥进行加密,并基于Shamir门限方案保护密钥;3)将密钥写入智能合约;4)采用基于DPoS+PBFT的混合共识机制和对应算法,将DPoS的授权机制应用于PBFT中实现动态授权,通过DPoS联盟内拥有投票权的节点动态投票选择记账节点,使用PBFT记账节点轮流记账,记账后投票通过,将加密后的数据存储入区块链联盟链的节点;5)利用智能合约的验证机制确认用户是否有权限查看数据,确认后利用拉格朗日插值算法找到密钥,解析加密数据密文,恢复明文数据。

Patent Agency Ranking