-
公开(公告)号：CN114385728A
公开(公告)日：2022-04-22
申请号：CN202111532519.0
申请日：2021-12-15
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/25
Abstract: 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。
-
公开(公告)号：CN117633076A
公开(公告)日：2024-03-01
申请号：CN202311605999.8
申请日：2023-11-29
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/25 , G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于数据转换整合的任务作业方法及系统，数据转换整合系统运行的单元为任务，通过任务对数据进行抽取、清洗、转换、装载，任务的最小单元为任务步骤，每个任务步骤都拥有相对独立的数据处理功能，如抽取、清洗、转换、装载等，多个相对独立功能的任务步骤组合成为一个具有业务含义的任务。本发明灵活高效地提高了传统数据转换整合系统数据处理能力，实现了在复杂数据环境下，满足多源异构数据之间的高效、灵活、高可靠的高效集成需求。
-
公开(公告)号：CN114422165A
公开(公告)日：2022-04-29
申请号：CN202111440386.4
申请日：2021-11-30
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L9/40
Abstract: 本发明公开了一种过SQL代理安全隔离装置的服务穿透方法及系统，包括1、外网系统发起请求，数据写入请求队列；2、请求队列屏蔽并发，将结构化数据写入网闸支持的中间库；3、后置代理服务批量读取请求数据；4、线程池解析请求数据，创建请求线程，并发对内网数据中台目标服务发起请求；5、请求结果放入响应队列，屏蔽并发，将数据写入中间库；6、前置代理服务单线程高频轮询中间库，批量读取响应数据到MAP；7、请求队列从MAP获取响应数据反馈给外网业务系统。本发明支撑内外网多种服务类型的快捷交互，解决应用间内外网业务服务安全交互问题，实现内外网业务实时交互更好地支撑基于数据中台的内外网服务贯通。
-
公开(公告)号：CN108228756A
公开(公告)日：2018-06-29
申请号：CN201711398111.2
申请日：2017-12-21
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F17/30
Abstract: 本发明属于电力系统数据库技术领域，公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能，并保证最大日志发送进程数大于设定的次数，修改数据库用户设置使得能直接使用流复制协议，采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。
-
公开(公告)号：CN114385728B
公开(公告)日：2024-07-19
申请号：CN202111532519.0
申请日：2021-12-15
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/25
Abstract: 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。
-
Patent Agency Ranking
公开(公告)号：CN108228755A
公开(公告)日：2018-06-29
申请号：CN201711397461.7
申请日：2017-12-21
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F17/30
Abstract: 本发明属于电力系统数据库技术领域，公开了一种基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法。本发明开启MySQL的二进制日志记录功能，并修改为基于行的复制模式，采用日志解析模块对所需要处理的MySQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。
-
公开(公告)号：CN107423452A
公开(公告)日：2017-12-01
申请号：CN201710781861.1
申请日：2017-09-02
Applicant: 国网辽宁省电力有限公司 , 国网辽宁省电力有限公司电力科学研究院 , 江苏瑞中数据股份有限公司 , 国家电网公司
CPC classification number: G06F17/303 , G06F17/30581 , G06Q50/06
Abstract: 本发明涉及一种电网异构数据库处理领域，特别是涉及一种基于MySQL日志解析的电网异构数据库同步复制迁移方式。针对电网数据规模大、数据量庞杂、数据存储分散等特点，且绝大多数产品主要是大数据库厂商针对自己公司的数据库产品开发出来的，不一定适用于其它数据库管理系统等问题。本发明通过分析MySQL日志，解析出变化的数据，并形成标准SQL语句，在目标端以JDBC方式连接并执行，来达到不需要人为操作，使服务器上的数据库能够全自动化进行数据的同步复制迁移。
-
公开(公告)号：CN107590208A
公开(公告)日：2018-01-16
申请号：CN201710743840.0
申请日：2017-08-25
Applicant: 国网辽宁省电力有限公司 , 国网辽宁省电力有限公司电力科学研究院 , 江苏瑞中数据股份有限公司 , 国家电网公司
IPC: G06F17/30
Abstract: 本发明涉及异构数据库转换领域，特别是涉及电力系统插件式电网数据异构数据库数据接入方式。针对目前各电力公司对业务系统所使用的数据库没有作统一的规范限制，导致出现电网数据规模大、数据量庞杂、数据来源广、类型多样等问题。因此，开发一套基于JDBC方式实现统一的数据库访问接口，程序员和运维人员不需要关心底层数据库的差异细节，只要在插件上选择正确的数据库类型，填写好正确的数据库连接信息就可以获取到数据库中的内容。如果插件中不存在该数据库，只需要提供该数据库的JDBC驱动程序，就可以以插件的形式加入新的数据库。
-
公开(公告)号：CN111625216A
公开(公告)日：2020-09-04
申请号：CN202010352982.6
申请日：2020-04-29
Applicant: 江苏瑞中数据股份有限公司 , 国网电力科学研究院有限公司
Abstract: 本发明公开了一种基于数据转换整合系统的插件实现方法。本发明属于分布式数据转换整合系统任务插件的优化技术领域。本发明实现了可在广域复杂网络和数据环境下，满足多源异构数据高效集成需求，提供弹性伸缩、高性能、高可靠的数据运行处理机制；作为上层系统的数据转换整合系统在统一数据中心及大数据平台的重要底层支撑部件起到重要作用，还可以实现对数据的联机分析处理、数据挖掘功能。
-
公开(公告)号：CN119201614A
公开(公告)日：2024-12-27
申请号：CN202411262165.6
申请日：2024-09-10
Applicant: 南京南瑞瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F11/30 , G06F11/34 , G06F16/215 , G06F16/242 , G06F16/28
Abstract: 本发明公开了一种基于可配置规则的多源数据库数据质量监测方法及系统。所述方法包括：多源数据库连接信息注册；自定义配置验证数据质量的规则；根据规则自动从数据源中提取数据，对数据质量进行评估，形成一套定时运行的机制；汇总评估结果并生成质量报告，调整规则或采取纠正措施。系统包括：质量定义层、数据质量运行层、数据质量分析层、数据调度服务器。本发明适用于大数据环境下，旨在通过监测评估来自多个异构数据源的数据质量，从而及时发现并纠正数据问题，以保障业务系统的准确性和效率。
-
-
-
-
-
-
-
-
-
Search Results
15
records
(took 0.195 seconds)
