-
公开(公告)号:CN118377773A
公开(公告)日:2024-07-23
申请号:CN202311742562.9
申请日:2023-12-18
Applicant: 南京南瑞瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/215 , G06F16/27 , G06F16/23 , G06F16/18
Abstract: 本发明公开了一种基于增量复制的异构数据库一致性检测方法、装置及介质,记录数据库库当前日志位置,并在增量流中插入开始标记;使用分块键进行分块,获得分块数据集,并记录数据库日志位置;捕获开始标记与结束标记之间的增量流数据形成增量数据集;求取增量数据集和分块数据集的交集移除,得到静态分块数据集;获取静态分块数据集的摘要;恢复增量流,并将静态数据校验包添加到增量流结束标志后;对分块数据集序列区间内的数据进行查询,获取目标端分块数据集;接收到结束标记后,暂停增量流的写入;在目标端,对比源端侧静态分块数据库摘要与目标端静态分块数据库摘要,实现数据不一致性检测;本发明能提升增量复制过程数据质量。
-
公开(公告)号:CN119474493A
公开(公告)日:2025-02-18
申请号:CN202411548842.0
申请日:2024-11-01
Applicant: 南京南瑞瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/906 , G06F16/901 , G06F16/903
Abstract: 本发明公开了一种基于多维标签体系的大规模样本存储管理方法与系统。所述方法包括以下步骤:获取大规模样本数据输入,基于样本来源、样本质量、样本特征维度为每个样本数据建立多维标签体系;对样本数据进行自动辅助识别与分类、质量评估,依照多维标签体系为样本生成多维标签,并根据样本的多维标签选择适合的存储层,在优化存储空间后将样本存储到指定的存储层;根据用户输入的检索条件返回检索结果,并根据需求将检索到的样本分发到需要的任务或分析场景中。本发明通过建立多维度的元数据标签,能够快速、高效地完成样本的检索、定位和管理。同时实现了对样本的自动辅助分类和识别,提高数据管理效率。
-
公开(公告)号:CN119201614A
公开(公告)日:2024-12-27
申请号:CN202411262165.6
申请日:2024-09-10
Applicant: 南京南瑞瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F11/30 , G06F11/34 , G06F16/215 , G06F16/242 , G06F16/28
Abstract: 本发明公开了一种基于可配置规则的多源数据库数据质量监测方法及系统。所述方法包括:多源数据库连接信息注册;自定义配置验证数据质量的规则;根据规则自动从数据源中提取数据,对数据质量进行评估,形成一套定时运行的机制;汇总评估结果并生成质量报告,调整规则或采取纠正措施。系统包括:质量定义层、数据质量运行层、数据质量分析层、数据调度服务器。本发明适用于大数据环境下,旨在通过监测评估来自多个异构数据源的数据质量,从而及时发现并纠正数据问题,以保障业务系统的准确性和效率。
-
公开(公告)号:CN108848197B
公开(公告)日:2021-06-08
申请号:CN201811120012.2
申请日:2018-09-19
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。
-
公开(公告)号:CN117633076A
公开(公告)日:2024-03-01
申请号:CN202311605999.8
申请日:2023-11-29
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/25 , G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于数据转换整合的任务作业方法及系统,数据转换整合系统运行的单元为任务,通过任务对数据进行抽取、清洗、转换、装载,任务的最小单元为任务步骤,每个任务步骤都拥有相对独立的数据处理功能,如抽取、清洗、转换、装载等,多个相对独立功能的任务步骤组合成为一个具有业务含义的任务。本发明灵活高效地提高了传统数据转换整合系统数据处理能力,实现了在复杂数据环境下,满足多源异构数据之间的高效、灵活、高可靠的高效集成需求。
-
公开(公告)号:CN114422165A
公开(公告)日:2022-04-29
申请号:CN202111440386.4
申请日:2021-11-30
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L9/40
Abstract: 本发明公开了一种过SQL代理安全隔离装置的服务穿透方法及系统,包括1、外网系统发起请求,数据写入请求队列;2、请求队列屏蔽并发,将结构化数据写入网闸支持的中间库;3、后置代理服务批量读取请求数据;4、线程池解析请求数据,创建请求线程,并发对内网数据中台目标服务发起请求;5、请求结果放入响应队列,屏蔽并发,将数据写入中间库;6、前置代理服务单线程高频轮询中间库,批量读取响应数据到MAP;7、请求队列从MAP获取响应数据反馈给外网业务系统。本发明支撑内外网多种服务类型的快捷交互,解决应用间内外网业务服务安全交互问题,实现内外网业务实时交互更好地支撑基于数据中台的内外网服务贯通。
-
公开(公告)号:CN111625414A
公开(公告)日:2020-09-04
申请号:CN202010352977.5
申请日:2020-04-29
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种数据转换整合软件的自动调度监控系统实现方法。本发明属于数据转换整合技术领域,该自动调度监控系统实现方法的具体工作过程:万级作业规模调度支持;高可用(HA)、分布式企业级特征;多级组织架构;强大的核心调度功能;全方位实时监控任务运行;灵活的人工干预维护;跨集群调用全链路监控;本发明实现了对数据整合系统任务集群级、跨区域级的全自动调度,能够对任务运行状态、调用链路进行监控和追踪。
-
公开(公告)号:CN108848197A
公开(公告)日:2018-11-20
申请号:CN201811120012.2
申请日:2018-09-19
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。
-
公开(公告)号:CN114385728B
公开(公告)日:2024-07-19
申请号:CN202111532519.0
申请日:2021-12-15
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/25
Abstract: 本发明公开了一种基于数据转换整合的实时数据处理方法,包括以下步骤:首先确定熟悉所需对接消息中间件的软件特性,制定数据转换整合系统集成此中间件的方案;适配抽取插件和加载插件并且使插件适应流式实时传输处理数据;定制消息确认插件,增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法;本发明可适配市场上多种不同的消息中间件;本发明提供了消息确认机制,由于异常未被确认的消息可重新消费处理,使用此方法保证了数据的完整性、可靠性。
-
公开(公告)号:CN115826936B
公开(公告)日:2023-11-07
申请号:CN202310122753.9
申请日:2023-02-16
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F8/20
Abstract: 本发明公开了一种基于低代码和可视化拖拽的电力业务可拓展开发框架,包括:基础组件物料单元、业务碎片编辑单元和应用编辑单元,其中,所述基础组件物料单元,用于提供电力数据接口和格式组件单元;所述业务碎片编辑单元,包括管理界面模块和业务应用碎片编辑模块,所述管理界面模块,用于提供数据源接口重写单元、业务主题重写单元和属性重写单元,所述业务应用碎片编辑模块,用于提供参数定义单元、组件关联关系单元和低代码单元;所述应用编辑单元,用于将业务应用碎片集成为的电力业务应用软件。采用上述技术方案,构建可以复用的碎片应用,快速开发得到电力应用软件,提高开发效率,降低人力成本。
-
-
-
-
-
-
-
-
-