公开(公告)号：CN119201614A

公开(公告)日：2024-12-27

申请号：CN202411262165.6

申请日：2024-09-10

Applicant: 南京南瑞瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 脱晓彤 ,  王鹏 ,  赵裕啸 ,  曹健 ,  彭光锐 ,  黄伟 ,  高振宇 ,  张见豪 ,  邵天峰 ,  吴佳佳

IPC: G06F11/30 ,  G06F11/34 ,  G06F16/215 ,  G06F16/242 ,  G06F16/28

Abstract: 本发明公开了一种基于可配置规则的多源数据库数据质量监测方法及系统。所述方法包括：多源数据库连接信息注册；自定义配置验证数据质量的规则；根据规则自动从数据源中提取数据，对数据质量进行评估，形成一套定时运行的机制；汇总评估结果并生成质量报告，调整规则或采取纠正措施。系统包括：质量定义层、数据质量运行层、数据质量分析层、数据调度服务器。本发明适用于大数据环境下，旨在通过监测评估来自多个异构数据源的数据质量，从而及时发现并纠正数据问题，以保障业务系统的准确性和效率。

公开(公告)号：CN118377773A

公开(公告)日：2024-07-23

申请号：CN202311742562.9

申请日：2023-12-18

Applicant: 南京南瑞瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 彭光锐 ,  王鹏 ,  胡健 ,  王想 ,  曹健 ,  黄伟 ,  颜铮 ,  高振宇 ,  周时颉 ,  蒋树嵩

IPC: G06F16/215 ,  G06F16/27 ,  G06F16/23 ,  G06F16/18

Abstract: 本发明公开了一种基于增量复制的异构数据库一致性检测方法、装置及介质，记录数据库库当前日志位置，并在增量流中插入开始标记；使用分块键进行分块，获得分块数据集，并记录数据库日志位置；捕获开始标记与结束标记之间的增量流数据形成增量数据集；求取增量数据集和分块数据集的交集移除，得到静态分块数据集；获取静态分块数据集的摘要；恢复增量流，并将静态数据校验包添加到增量流结束标志后；对分块数据集序列区间内的数据进行查询，获取目标端分块数据集；接收到结束标记后，暂停增量流的写入；在目标端，对比源端侧静态分块数据库摘要与目标端静态分块数据库摘要，实现数据不一致性检测；本发明能提升增量复制过程数据质量。

公开(公告)号：CN114385728A

公开(公告)日：2022-04-22

申请号：CN202111532519.0

申请日：2021-12-15

Applicant: 江苏瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 颜铮 ,  曹健 ,  张华云 ,  李品 ,  高振宇 ,  黄伟

IPC: G06F16/25

Abstract: 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。

公开(公告)号：CN114385728B

公开(公告)日：2024-07-19

申请号：CN202111532519.0

申请日：2021-12-15

Applicant: 江苏瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 颜铮 ,  曹健 ,  张华云 ,  李品 ,  高振宇 ,  黄伟

IPC: G06F16/25

Abstract: 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。

公开(公告)号：CN117633076A

公开(公告)日：2024-03-01

申请号：CN202311605999.8

申请日：2023-11-29

Applicant: 江苏瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 颜铮 ,  胡健 ,  王晔 ,  王想 ,  曹健 ,  黄伟 ,  彭光瑞 ,  高振宇 ,  周时颉 ,  蒋树嵩 ,  吴宏伟

IPC: G06F16/25 ,  G06F16/22 ,  G06F16/215

Abstract: 本发明公开了一种基于数据转换整合的任务作业方法及系统，数据转换整合系统运行的单元为任务，通过任务对数据进行抽取、清洗、转换、装载，任务的最小单元为任务步骤，每个任务步骤都拥有相对独立的数据处理功能，如抽取、清洗、转换、装载等，多个相对独立功能的任务步骤组合成为一个具有业务含义的任务。本发明灵活高效地提高了传统数据转换整合系统数据处理能力，实现了在复杂数据环境下，满足多源异构数据之间的高效、灵活、高可靠的高效集成需求。

公开(公告)号：CN114422165A

公开(公告)日：2022-04-29

申请号：CN202111440386.4

申请日：2021-11-30

Applicant: 江苏瑞中数据股份有限公司 ,  南瑞集团有限公司

Inventor： 徐增荣 ,  高振宇 ,  王威 ,  张华云 ,  曹健 ,  黄伟 ,  彭光锐 ,  李品 ,  颜铮

IPC: H04L9/40

Abstract: 本发明公开了一种过SQL代理安全隔离装置的服务穿透方法及系统，包括1、外网系统发起请求，数据写入请求队列；2、请求队列屏蔽并发，将结构化数据写入网闸支持的中间库；3、后置代理服务批量读取请求数据；4、线程池解析请求数据，创建请求线程，并发对内网数据中台目标服务发起请求；5、请求结果放入响应队列，屏蔽并发，将数据写入中间库；6、前置代理服务单线程高频轮询中间库，批量读取响应数据到MAP；7、请求队列从MAP获取响应数据反馈给外网业务系统。本发明支撑内外网多种服务类型的快捷交互，解决应用间内外网业务服务安全交互问题，实现内外网业务实时交互更好地支撑基于数据中台的内外网服务贯通。