-
公开(公告)号:CN114880343A
公开(公告)日:2022-08-09
申请号:CN202210483036.4
申请日:2022-05-05
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/27 , G06F9/54
Abstract: 本发明公开了一种优化维度组合的多维分析方法和系统,涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统,数据源模块支持导入Hive数据和Kafka消息队列,并对外提供Restful风格的接口方便调用;构建预处理cube模块时,提供可视化的客户端界面,用户可以自行选择维度、度量来构建符合自身需求;构建cube中提供了高级可选项,其中包含衍生维度的选择,聚合组的添加,必须维度的确定,层级制度及联合维度的设定;计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。
-
公开(公告)号:CN114567657A
公开(公告)日:2022-05-31
申请号:CN202210232609.6
申请日:2022-03-10
Applicant: 河钢数字技术股份有限公司
IPC: H04L67/12 , H04L67/55 , H04L67/56 , H04L41/0604 , H04L41/0631
Abstract: 本发明公开了一种用于钢铁冶炼产线上的实时报警方法,包括如下步骤:设备上报数据通过MQTT协议传输至物联网平台的MQTT BROKER消息代理服务中间件;MQTT BROKER将接收到的设备数据直接推送至消息队列Kafka,通过消息队列Kafka将报警服务与其它服务解耦;规则引擎从Kafka中获取设备数据后,根据设备唯一标志符,从非关系型数据库Redis中按照业务需求获取预设的相应报警规则,匹配触发报警条件的数据阈值;规则引擎对设备数据进行处理,处于正常值域的设备数据直接跳过,数据处理后触发的报警生成报警通知并发送。本发明降低了服务器压力、数据存储压力、网络流量压力,提高了报警通知的实时性。
-
公开(公告)号:CN114546348A
公开(公告)日:2022-05-27
申请号:CN202210251893.1
申请日:2022-03-15
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明涉及调度系统技术领域,具体为一种全流程支持拖拉拽的自动化分布式任务流调度系统,包括GG‑editor绘图框架、Activiti工作流框架、Quartz分布式定时调度框架;其中,Activiti工作流框架和Quartz分布式定时调度框架实现自动化分布式任务流调度;所述Activiti工作流框架实现复杂业务场景的任务流自定义配置;所述Quartz分布式定时调度框架实现该任务流的分布式调度;所述GG‑editor绘图框架实现可视化拖拽,工作流流程图的设计。本发明通过Activiti框架和Quartz框架,适用于复杂业务场景工作流设计,可视化拖拽组件简单灵活,支持大批量数据采集,每天可支持TB级数据量采集,每天采集数据可达亿条,支持复杂的任务流调度,任务流调度响应时间 =95%。
-
公开(公告)号:CN118429375A
公开(公告)日:2024-08-02
申请号:CN202410628251.8
申请日:2024-05-21
Applicant: 河钢数字技术股份有限公司 , 雄安威赛博智能科技有限公司
Abstract: 本发明提供了一种基于改进的canny算法的图像边缘检测方法,包括:对待检测图像进行区域划分后得到局部像素区域,并确定局部像素区域的局部像素方差,基于局部像素方差对不同局部像素区域进行差异平滑处理;基于图像边缘检测滤波器提取每个像素点的梯度幅值和梯度方向;基于每个像素点的梯度幅值和梯度方向确定每个像素点周围目标邻域的梯度方差,并基于梯度方差的局部梯度变化对非极大值抑制的目标阈值进行动态调整且待检测图像进行非极大值抑制;基于非极大值抑制得到待检测图像的边缘点集合,并对边缘点集合进行检测和有向连接,得到待检测图像的图像边缘。保障了图像边缘检测的准确性和可靠性。
-
公开(公告)号:CN119066247A
公开(公告)日:2024-12-03
申请号:CN202411094436.1
申请日:2024-08-09
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/951 , G06F16/9535 , G06F16/9538 , G06F16/31 , G06F16/35 , G06F40/284 , G06F16/182 , G06F16/11 , H04L67/02 , H04L67/10 , H04L67/1097
Abstract: 本发明公开了一种数据源管理方法,涉及数据管理技术领域,该数据源管理方法,包括以下步骤:第一步:预处理器预处理请求,解析元数据信息,包含集群名称,连接方式,构建Elasticsearch客户端;第二步:导入velocity模板引擎,通过转换器将请求解析换传成与之对应的消息体。构建请求参数;第三步:导入httpclient模块,通过http请求访问与之对应的Elasticsearch集群,拿到返回结果,通过解析器统一处理结果,返回数据;兼容多个版本Elasticsearch集群的多数据源管理系统。在预处理器和转换器下,结合velocity模板引擎生成对应不同版本的请求消息体,再通过https/http和与之相应的Elasticsearch交互,解析器统一处理返回。在以此为核心的前提下,简化了Elasticsearch集群的操作难度,实现了索引管理,数据流归档查询,数据归档等功能。
-
公开(公告)号:CN114567620B
公开(公告)日:2023-09-22
申请号:CN202210232866.X
申请日:2022-03-10
Applicant: 河钢数字技术股份有限公司
IPC: H04L67/01 , H04L67/12 , H04L67/2866 , H04L67/56 , H04L9/40 , H04L41/0246 , H04L41/08 , H04L41/14
Abstract: 本发明提供了一种基于MQTT协议的数字模型与物理设备匹配的系统及方法,系统包括云平台端、物联网网关和设备终端;云平台端与设备终端之间通过物联网网关处理数字化物模型进行数据识别匹配,通过MQTT协议进行数据通信;物联网网关实现设备终端与EMQ X消息代理服务器的通信连接;物联网网关上部署有物模型服务SDK,将云平台端下发数据转换为设备终端可执行的数据,云平台端与物模型服务SDK之间通过EMQ X相互连接;云平台端将数字化物模型通过物模型服务SDK与设备终端进行交互,物模型服务SDK调用物联网网关内置软件接口,在网关内生成数据处理节点,控制设备终端做出相应响应。本发明实现了设备从消息订阅到数据传输的一键部署,并提供稳定的数据交换服务。
-
公开(公告)号:CN116126297A
公开(公告)日:2023-05-16
申请号:CN202310213398.6
申请日:2023-03-07
Applicant: 河钢数字技术股份有限公司
IPC: G06F8/20 , G06F8/34 , G06F8/36 , G06F16/242
Abstract: 本发明提供一种多类型数据库配置代码生成方法、装置及电子设备。该方法包括:获取待配置数据库的数据库类型、操作方式和操作参数。根据数据库类型和操作方式,查询预设映射关系,确定SQL代码模板。根据SQL代码模板,操作参数,进行填充生成,得到与数据库类型和操作方式对应的SQL代码实例。根据SQL代码实例,以及预设模板引擎,进行渲染生成,得到待配置数据库的配置代码。本发明根据数据库类型和数据库操作类型生成对应的SQL代码,再将SQL代码渲染进数据库配置模板,生成数据库配置代码实例。根据数据库类型生成对应格式的数据库配置代码,避免针对不同类型数据库重复编写配置代码,提高了软件开发效率。
-
公开(公告)号:CN115757597A
公开(公告)日:2023-03-07
申请号:CN202211675433.8
申请日:2022-12-26
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/25 , G06F16/245
Abstract: 本发明提供了一种基于Apache Flink的ETL数据处理系统及方法,系统包括数据源组件配置服务模块、数据转换组件配置服务模块、ETL任务配置服务模块、ETL任务解析器和ETL任务监控服务模块;数据源组件配置服务模块用于对不同类型的数据源组件进行配置,数据转换组件配置服务模块用于对不同类型的数据转换组件进行配置,ETL任务配置服务模块用于配置ETL任务所需要的数据源组件和数据转换组件及转换流程;ETL任务解析器用于对待执行的ETL任务进行解析并将解析后的任务信息发送给远程集群运行;ETL任务监控服务模块用于对远程集群的ETL任务运行状态进行监控。本发明支持连接多种异构数据源并以数据流的形式在系统中传递,提供对数据流进行数据转换的操作。
-
公开(公告)号:CN114780178A
公开(公告)日:2022-07-22
申请号:CN202210459346.2
申请日:2022-04-27
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明公开了一种基于zeppelin的交互式分析系统,涉及计算机大数据分技术领域。包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端,所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器,所述zeppelin server为管理zeppelin interpreter的处理器,以及调度交互式分析任务、分配资源的中央管理器,所述外围模块对开源组件apache zeppelin进行封装,所述浏览器端用于登录访问所述外围模块。该基于zeppelin的交互式分析系统,工作区管理模块使用户可以管理自己的笔记本单元,统一管理笔记本;任务管理模块使用户可以更加方便地管理任务,便于用户进行任务的编写、运行或停止。
-
公开(公告)号:CN112380179A
公开(公告)日:2021-02-19
申请号:CN202011463361.1
申请日:2020-12-14
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/176 , G06F21/60 , G06F21/62 , G16Y30/10
Abstract: 本发明公开了一种基于区块链的钢铁供应链信息秘密共享方法及系统,方法包括步骤:1)将供应链上的物流明文数据和供应链上下游企业提供的企业信息录入区块链联盟链节点;2)利用属性加密算法将得到的数据通过密钥进行加密,并基于Shamir门限方案保护密钥;3)将密钥写入智能合约;4)采用基于DPoS+PBFT的混合共识机制和对应算法,将DPoS的授权机制应用于PBFT中实现动态授权,通过DPoS联盟内拥有投票权的节点动态投票选择记账节点,使用PBFT记账节点轮流记账,记账后投票通过,将加密后的数据存储入区块链联盟链的节点;5)利用智能合约的验证机制确认用户是否有权限查看数据,确认后利用拉格朗日插值算法找到密钥,解析加密数据密文,恢复明文数据。
-
-
-
-
-
-
-
-
-