MPP数据库查询任务均衡的方法、系统、设备及介质

    公开(公告)号:CN117971506B

    公开(公告)日:2024-06-18

    申请号:CN202410377170.5

    申请日:2024-03-29

    Inventor: 姜骁

    Abstract: 本发明涉及数据查询技术领域,尤其涉及一种MPP数据库查询任务均衡的方法、系统、设备及介质,包括如下步骤:S1.确定是否存在不可用的节点,并确定直接影响分片及间接影响分片;S2.分配直接影响分片;S3.分配间接影响分片:对间接影响分片逐一采用的策略为对其表名称计算哈希值,再用哈希值对主备片数量取模,由计算结果决定把间接影响分片的任务分配给主片还是备片。本发明提供的技术方案中,通过本发明提供的方法步骤使得运算中不会出现总是某个计算节点分配到多个任务;而且由于表和计算节点之间存在映射关系,因此计算节点上比较容易管理数据缓存。

    一种集群数据库在断电或宕机时保证数据一致性的方法

    公开(公告)号:CN112612854B

    公开(公告)日:2023-01-24

    申请号:CN202011607550.1

    申请日:2020-12-29

    Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。

    一种MPP数据库实现高可用的方法

    公开(公告)号:CN115543971B

    公开(公告)日:2023-03-31

    申请号:CN202211504245.9

    申请日:2022-11-29

    Inventor: 姜骁 李晨光

    Abstract: 本发明提供了一种MPP数据库实现高可用的方法,计算节点与存储系统完全分离,计算节点通过虚拟块设备连接存储系统,执行SQL命令时查询计算实例状态,判断计算实例是否可用,如果计算实例可用,执行SQL命令,如果计算实例不可用,将故障实例迁移到正常的计算节点上运行。本发明有益效果:使用了数据库在发生故障时迁移节点的方式,达到了不影响用户使用的效果,提高了系统容灾能力。

    一种从kafka向数据库同步数据的方法

    公开(公告)号:CN114357068A

    公开(公告)日:2022-04-15

    申请号:CN202111584288.8

    申请日:2021-12-22

    Inventor: 赵伟 姜骁

    Abstract: 本发明提供了一种从kafka向数据库同步数据的方法,包括:S1、从数据库查询进度表得到原始数据对应的消费进度;S2、根据消费进度从kafka中读取数据,并对读取的数据进行解析;S3、数据解析后,判断数据的操作类型,对不同操作类型的数据进行攒批操作,构造sql语句;S4、在数据库中执行sql语句,向进度表写入消费进度,并判断数据库执行结果是否正确;若数据库执行结果正确,则数据库执行提交操作;若数据库执行结果错误,数据库执行回滚操作,循环至步骤S2。本发明在用户对数据库有并发查询业务时,通过攒批集中处理,保证了用户正常业务使用计算资源,保证了数据的高同步性,同时在保证了数据结果的准确性,也保持较高的数据处理速度。

    MPP数据库查询任务均衡的方法、系统、设备及介质

    公开(公告)号:CN117971506A

    公开(公告)日:2024-05-03

    申请号:CN202410377170.5

    申请日:2024-03-29

    Inventor: 姜骁

    Abstract: 本发明涉及数据查询技术领域,尤其涉及一种MPP数据库查询任务均衡的方法、系统、设备及介质,包括如下步骤:S1.确定是否存在不可用的节点,并确定直接影响分片及间接影响分片;S2.分配直接影响分片;S3.分配间接影响分片:对间接影响分片逐一采用的策略为对其表名称计算哈希值,再用哈希值对主备片数量取模,由计算结果决定把间接影响分片的任务分配给主片还是备片。本发明提供的技术方案中,通过本发明提供的方法步骤使得运算中不会出现总是某个计算节点分配到多个任务;而且由于表和计算节点之间存在映射关系,因此计算节点上比较容易管理数据缓存。

    一种MPP数据库实现高可用的方法

    公开(公告)号:CN115543971A

    公开(公告)日:2022-12-30

    申请号:CN202211504245.9

    申请日:2022-11-29

    Inventor: 姜骁 李晨光

    Abstract: 本发明提供了一种MPP数据库实现高可用的方法,计算节点与存储系统完全分离,计算节点通过虚拟块设备连接存储系统,执行SQL命令时查询计算实例状态,判断计算实例是否可用,如果计算实例可用,执行SQL命令,如果计算实例不可用,将故障实例迁移到正常的计算节点上运行。本发明有益效果:使用了数据库在发生故障时迁移节点的方式,达到了不影响用户使用的效果,提高了系统容灾能力。

    一种集群数据库在断电或宕机时保证数据一致性的方法

    公开(公告)号:CN112612854A

    公开(公告)日:2021-04-06

    申请号:CN202011607550.1

    申请日:2020-12-29

    Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。

Patent Agency Ranking