-
公开(公告)号:CN118626477B
公开(公告)日:2025-01-21
申请号:CN202410647397.7
申请日:2024-05-23
Applicant: 北京京航计算通讯研究所 , 天津神舟通用数据技术有限公司
IPC: G06F16/215 , G06F16/25
Abstract: 本申请公开了一种面向航天离散制造平台的多源数据预处理方法及系统,涉及航天离散制造数据预处理技术领域,该方法包括:通过至少一个动态配置的适配器组件适配处理输入的多源异构数据,以使数据格式统一化和标准化,得到已适配数据;将已适配数据传输至分布式清洗引擎,分布式清洗引擎对已适配数据执行数据集合的错误检测、模式识别和逻辑一致性校正,得到清洗数据集;通过质量评估模块对清洗数据集计算数据质量指数;基于数据质量指数,动态调整清洗规则;通过预设的质量反馈控制机制,根据上层应用的需求和反馈提供数据追溯和校正指导,持续优化数据质量。本申请能够有效提高数据库系统的清洗规则可扩展性、动态柔性和继承重用性。
-
公开(公告)号:CN118626477A
公开(公告)日:2024-09-10
申请号:CN202410647397.7
申请日:2024-05-23
Applicant: 北京京航计算通讯研究所 , 天津神舟通用数据技术有限公司
IPC: G06F16/215 , G06F16/25
Abstract: 本申请公开了一种面向航天离散制造平台的多源数据预处理方法及系统,涉及航天离散制造数据预处理技术领域,该方法包括:通过至少一个动态配置的适配器组件适配处理输入的多源异构数据,以使数据格式统一化和标准化,得到已适配数据;将已适配数据传输至分布式清洗引擎,分布式清洗引擎对已适配数据执行数据集合的错误检测、模式识别和逻辑一致性校正,得到清洗数据集;通过质量评估模块对清洗数据集计算数据质量指数;基于数据质量指数,动态调整清洗规则;通过预设的质量反馈控制机制,根据上层应用的需求和反馈提供数据追溯和校正指导,持续优化数据质量。本申请能够有效提高数据库系统的清洗规则可扩展性、动态柔性和继承重用性。
-
公开(公告)号:CN118331945B
公开(公告)日:2024-11-15
申请号:CN202410502718.4
申请日:2024-04-25
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06F16/21 , G06F16/2453 , G06F16/27 , G06F9/445
Abstract: 本申请公开了一种面向航天离散制造的实时非实时数据迁移方法,所述方法包括:对任一数据源,每隔预设周期,确定该数据源的数据表的最新关键属性;其中,所述最新关键属性用于表征最近的预设周期内,该数据源的数据变化情况;确定所述最新关键属性对应的增量数据;将所述增量数据由该数据源迁移到目标地址。
-
公开(公告)号:CN118446428A
公开(公告)日:2024-08-06
申请号:CN202410680308.9
申请日:2024-05-29
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06Q10/063 , G06Q50/04 , G06F16/242 , G06F16/25 , G06F16/28 , G06F16/2453 , G06F16/26
Abstract: 本申请涉及数据治理领域,具体包括面向航天离散制造的数据治理方法及系统,包括:数据采集:对航天离散制造的数据进行采集,支持对多种结构化、非结构化数据的采集;数据处理:对采集后的数据进行敏感发现,数据脱敏、数据标准化;数据源统一适配:将多数据源的数据处理后进行数据适配,便于查询;数据可视化映射:对数据源统一适配后的数据通过进行数据转换、数据可视化映射、java‑Echart转化实现数据可视化;数据可视化交互:支持多种用户数据交互分析方式,主要分为图表筛选和用户交互两部分,通过交互生成对应的图表进行展示。能有效打通各科研生产应用系统数据壁垒,提高整体运行效能。
-
公开(公告)号:CN118708569A
公开(公告)日:2024-09-27
申请号:CN202410863963.8
申请日:2024-06-30
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06F16/21 , G06F16/22 , G06F16/2453 , G06F16/2455 , G06N20/00
Abstract: 本申请实施例公开了一种支撑航天离散制造MES系统的国产化数据库系统,涉及航天制造数字化管理技术领域,包括:数据库模块、数据处理模块、系统接口模块和控制模块,每个模块采用模块化设计,并通过标准化接口实现互联互通;其中,数据库模块基于国产数据库软件,优化以支持航天制造数据;数据处理模块提供实时数据流处理,支持数据聚合和分析;系统接口模块按照国家标准提供可扩展的API,控制模块实施数据安全和访问控制策略。本申请能够有效改善当前系统中广泛使用外国数据库产品,导致成本高昂,数据安全风险较高的问题。
-
公开(公告)号:CN117131058A
公开(公告)日:2023-11-28
申请号:CN202311369907.0
申请日:2023-10-23
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F9/50 , G06F16/242
Abstract: 本发明公开一种基于数据分片的并行对比数据库表数据的方法,本发明涉及数据对比领域,设置对应的线程池和两端数据库,所述两端数据库用于储存相关的数据信息;通过线程池采集两端数据库中需要对比的数据信息,生成表对任务;分析表对任务是否需要进行分片处理,根据分析结果对其进行分片处理;将分片处理的数据进行拼接整合,组成新的任务对;将所组成的任务对通过线程池进行查询,根据查询结果组成数据对任务;设置数据对比引擎,将数据对任务通过数据对比引擎进行对比分析,输出对比结果;本发明的有益效果为在一定程度上降低了数据量的粒度,提高了并行度和对比效率。
-
公开(公告)号:CN116756093A
公开(公告)日:2023-09-15
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN118331945A
公开(公告)日:2024-07-12
申请号:CN202410502718.4
申请日:2024-04-25
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06F16/21 , G06F16/2453 , G06F16/27 , G06F9/445
Abstract: 本申请公开了一种面向航天离散制造的实时非实时数据迁移方法,所述方法包括:对任一数据源,每隔预设周期,确定该数据源的数据表的最新关键属性;其中,所述最新关键属性用于表征最近的预设周期内,该数据源的数据变化情况;确定所述最新关键属性对应的增量数据;将所述增量数据由该数据源迁移到目标地址。
-
公开(公告)号:CN116756093B
公开(公告)日:2023-11-03
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
-
-
-
-
-
-
-