-
-
公开(公告)号:CN116521652A
公开(公告)日:2023-08-01
申请号:CN202310801510.8
申请日:2023-07-03
Applicant: 南方电网数字电网研究院有限公司
Abstract: 本发明公开的一种基于DataX实现分布式异构数据库迁移方法、系统和介质,其中方法包括:获取迁移的数据源库信息;根据迁移的数据源库信息,得到迁移表信息;判断预设目标数据库是否存在迁移表的对应数据表,若否,则得到预设目标数据库的数据表不存在信息,并根据预设要求生成对应数据表;若是,则得到预设目标数据库的数据表已存在信息;根据迁移表信息,得到迁移表的json文件;根据迁移表的json文件,将迁移的数据源库中的数据迁移至预设目标数据库并进行存储。本发明通过配置工具进行异构数据库迁移,使数据迁移脱离碎片化、过度专业化的困境,易于让普通技术人员熟练上手进行异构数据库迁移。
-
公开(公告)号:CN116821139B
公开(公告)日:2024-01-23
申请号:CN202311078228.8
申请日:2023-08-25
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本发明公开了基于分布式数据库的分区表设计的混合负载方法及系统,其中方法包括:获取用户访问信息;根据用户访问信息,得到用户访问信息的数据名称信息;根据用户访问信息的数据名称信息,得到对应用户访问数据所在的维度组合定义表信息以及用户访问数据在维度组合定义表中的子数据信息;将维度组合定义表中的用户访问子数据进行汇总,并按照预设第一规则进行重组,得到用户访问数据并进行显示。本发明通过使用数据分区可以大大减少读取的数据量,提高数据查询的并发度,从而解决了输入或输出的高负载和高时延问题。
-
公开(公告)号:CN116821139A
公开(公告)日:2023-09-29
申请号:CN202311078228.8
申请日:2023-08-25
Applicant: 南方电网数字电网研究院有限公司
IPC: G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本发明公开了基于分布式数据库的分区表设计的混合负载方法及系统,其中方法包括:获取用户访问信息;根据用户访问信息,得到用户访问信息的数据名称信息;根据用户访问信息的数据名称信息,得到对应用户访问数据所在的维度组合定义表信息以及用户访问数据在维度组合定义表中的子数据信息;将维度组合定义表中的用户访问子数据进行汇总,并按照预设第一规则进行重组,得到用户访问数据并进行显示。本发明通过使用数据分区可以大大减少读取的数据量,提高数据查询的并发度,从而解决了输入或输出的高负载和高时延问题。
-
-
-