-
公开(公告)号：CN110941618A
公开(公告)日：2020-03-31
申请号：CN201911178004.8
申请日：2019-11-27
Applicant: 河钢数字技术股份有限公司
Abstract: 本发明公开了一种海量异构数据存储方法及系统，所述方法包括：从数据源获取海量异构数据；根据设定的规则对海量异构数据进行分类，分为：结构化数据、半结构化数据和非结构化数据以及系统运行过程中产生的热点数据；根据数据的元数据，将不同类型的数据存储至不同的数据存储分区，不同的数据存储分区包括：关系型数据库Oracle、MySQL和非关系型数据库HBase、内存型数据库Redis。本发明提供的海量异构数据存储方法及系统，通过整合多种数据库，实现了海量结构化数据、半结构化数据和非结构化数据的有效结合和统一存储管理，解决了数据的异构性、海量性和不确定性的问题。
-
公开(公告)号：CN117294497A
公开(公告)日：2023-12-26
申请号：CN202311252011.4
申请日：2023-09-26
Applicant: 河钢数字技术股份有限公司 , 河钢雄安数字科技有限公司 , 河钢集团有限公司 , 西安电子科技大学
IPC: H04L9/40 , G06F18/2433 , G06F18/23213
Abstract: 本发明涉及网络安全技术领域，提供一种网络流量异常检测方法、装置、电子设备及存储介质。该方法包括获取网络流量数据集；采用异常检测算法检测网络流量数据集，确定网络流量数据集中每个网络流量数据的状态；对网络流量数据集进行聚类，获得聚类后的n个分类；基于该分类中每个网络流量数据的状态，确定该分类中异常状态的数据所占比例；若该分类中异常状态的数据所占比例大于预设阈值，则将该分类的所有网络流量数据确定为异常值。本发明通过根据聚类中异常数据的比例判断该类别是否属于异常类。并将异常类的数据确认为异常值。通过聚类修正异常检测结果，减少了异常检测算法误判的概率，提升了网络流量数据异常检测的准确性。
-
Patent Agency Ranking
公开(公告)号：CN114880343A
公开(公告)日：2022-08-09
申请号：CN202210483036.4
申请日：2022-05-05
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/242 , G06F16/2455 , G06F16/27 , G06F9/54
Abstract: 本发明公开了一种优化维度组合的多维分析方法和系统，涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统，数据源模块支持导入Hive数据和Kafka消息队列，并对外提供Restful风格的接口方便调用；构建预处理cube模块时，提供可视化的客户端界面，用户可以自行选择维度、度量来构建符合自身需求；构建cube中提供了高级可选项，其中包含衍生维度的选择，聚合组的添加，必须维度的确定，层级制度及联合维度的设定；计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。
-
公开(公告)号：CN119939649A
公开(公告)日：2025-05-06
申请号：CN202411928224.9
申请日：2024-12-25
Applicant: 河钢数字技术股份有限公司
Abstract: 本申请涉及一种布式场景下的全密态分布式安全聚合计算方案，包括：客户端，所述客户端通过数据传递连接可信主节点TM，所述可信主节点TM通过数据传递连接多个从节点#1，所述可信主节点TM包括REE和TEE，所述TEE内部包含查询引擎和全局索引，所述从节点#1由安全局部索引、TEE查询引擎和数据集，所述TEE查询引擎通过数据传递连接安全局部索引和数据集。本申请实施例提供的整体系统，系统能够在分布式环境中实现数据的安全聚合计算，同时保障计算请求的隐私性和完整性；多聚合算子的支持：研究提供安全的数据传输机制和加密聚合方案，确保不同聚合算子的计算过程不会泄露敏感信息，同时优化计算性能，减少需要参与计算的子节点。
-
公开(公告)号：CN117290442A
公开(公告)日：2023-12-26
申请号：CN202311252057.6
申请日：2023-09-26
Applicant: 河钢数字技术股份有限公司 , 河钢雄安数字科技有限公司 , 河钢集团有限公司 , 西安电子科技大学
Abstract: 本申请适用于数据库间的数据同步技术领域，提供了数据库间的数据同步方法、系统、电子设备及存储介质，该数据库间的数据同步方法包括：获取上游数据库的数据变更记录，先将数据变更记录进行预存，再进行读取和预处理，得到第一变更记录对象，然后，将相同表名且相同行id的第一变更记录对象划分至同一区域，对于每一个区域，创建一个整合窗口，通过整合窗口接收对应区域中的第一变更记录对象，对整合窗口中的第一变更记录对象进行整合，得到第二变更记录对象，然后将第二变更记录对象进行预存，最后读取第二变更记录对象，并将第二变更记录对象的数据同步到下游数据库中。本申请能够提高数据库间的变更数据的同步效率。
-
公开(公告)号：CN112199423A
公开(公告)日：2021-01-08
申请号：CN202010905210.0
申请日：2020-09-01
Applicant: 河钢数字技术股份有限公司
IPC: G06F16/25 , G06F16/2458 , G06F16/215 , G06F16/28
Abstract: 本发明公开了一种ETL数据质量判定与反馈方法，该方法包括：获取ETL数据处理过程的判定指标，根据所述判定指标的结果值和预设期望值的比较结果确定对所述ETL数据处理过程的质量判定结果，并在根据ETL处理日志确定所述ETL任务失败时，根据所述ETL处理日志和目标数据中携带的标记信息从所述数据仓库中确定出所述脏数据，并对所述脏数据进行清理，从而进一步提高了对ETL数据质量判定的准确性，并通过质量判定结果进行反馈，及时发现ETL处理过程中的问题，保证了输出数据的准确性。
-
公开(公告)号：CN306368053S
公开(公告)日：2021-03-09
申请号：CN202030527246.0
申请日：2020-09-08
Applicant: 河钢数字技术股份有限公司
Abstract: 1.本外观设计产品的名称：计算机的DTrans数据融合平台图形界面。
2.本外观设计产品的用途：用于数据及图形的展示。
3.本外观设计产品的设计要点：在于图形用户界面的内容和排版布局界面。
4.最能表明设计要点的图片或照片：界面变化状态图4。
5.无设计要点，省略其他视图。
6.图形用户界面的用途：主视图为“登录界面”，实现DTrans数据融合平台的用户登录，输入用户名、密码即可进入界面变化状态图1所示的“首页统计”页面，进行平台各类信息的数据概览，包括数据库连接数、运行错误数、执行资源剩余量、任务统计等；点击界面变化状态图1中的连接配置按钮，进入界面变化状态图2所示的“连接配置”页面，显示平台连接的数据库列表，可进行编辑、新建、删除操作，新建连接需填写数据库类型、IP、端口号等基本信息；点击界面变化状态图1中的接口配置按钮，进入界面变化状态图3所示的“接口配置”页面，显示平台连接的接口列表，可进行编辑、新建、删除操作，新建配置时需填写基本信息、web服务查询、字段配置等信息；点击界面变化状态图1中的创建任务按钮，进入界面变化状态图4所示的“创建任务”界面，作为最能表明本外观设计要点的图片，提供了任务编辑画布和任务组件，可通过拖拽式操作将顶部组件拖到中间画布，点击组件在画布右侧进行参数配置，最终保存为任务；保存后的任务出现在界面变化状态图5所示的“任务列表”页面，任务列表分为任务监控和历史任务两栏，可进行暂停、终止、重启、状态更新、编辑、查看日志、删除等操作；点击界面变化状态图1中的元数据管理按钮，进入界面变化状态图6所示的“元数据管理”页面，记录所有任务运行的元数据信息，支持血缘查看和元数据查看，可详细显示元数据的表数据、列数据和数据预览；点击界面变化状态图1中的数据接口按钮，进入界面变化状态图7所示的“数据接口”页面，显示接口的配置信息，可通过接口基本信息、数据格式、目标数据库、字段配置等信息录入，实现平台接口的创建；点击界面变化状态图1中的质量剖析按钮，进入界面变化状态图8所示的“质量剖析”页面，显示质量剖析任务列表，可进行运行、编辑、删除、查看日志报告、新建等操作，质量剖析任务运行完成后会生成界面变化状态图9所示的“质量剖析结果报表”，以图表的形式展示数据库各数据的健康情况；点击界面变化状态图1中的集群资源按钮，进入界面变化状态图10所示的“集群资源”页面，记录当前集群的内存、磁盘、CPU消耗情况；点击界面变化状态图1中的日志管理按钮，进入“日志管理”页面，点击日志管理下的系统运行日志按钮，进入界面变化状态图11所示的“系统运行日志”页面，显示任务运行日志和系统错误日志；点击日志管理下的用户操作日志按钮，进入界面变化状态图12所示的“用户操作日志”页面，记录用户在平台的操作日志；点击界面变化状态图1中的用户管理按钮，可进入“用户管理”页面，再点击用户管理下的用户权限按钮，可进入界面变化状态图13所示的“用户权限”页面，可以创建角色及设置角色权限；点击用户管理下的用户信息按钮，可进入界面变化状态图14所示的“用户信息”页面，可以新增用户。
-
-
-
-
-
-
Search Results
17
records
(took 0.058 seconds)
