无共享数据库集群异地双活容灾系统

    公开(公告)号:CN109901948B

    公开(公告)日:2022-04-12

    申请号:CN201910119253.3

    申请日:2019-02-18

    Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。

    非日志模式的数据库集群副本构建方法及装置

    公开(公告)号:CN109918229B

    公开(公告)日:2021-03-30

    申请号:CN201910119274.5

    申请日:2019-02-18

    Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。

    无共享数据库集群异地双活容灾系统

    公开(公告)号:CN109901948A

    公开(公告)日:2019-06-18

    申请号:CN201910119253.3

    申请日:2019-02-18

    Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。

    非日志模式的数据库集群副本构建方法及装置

    公开(公告)号:CN109918229A

    公开(公告)日:2019-06-21

    申请号:CN201910119274.5

    申请日:2019-02-18

    Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。

    一种数据处理方法、装置、设备及介质

    公开(公告)号:CN116910099A

    公开(公告)日:2023-10-20

    申请号:CN202311139421.8

    申请日:2023-09-06

    Abstract: 本申请公开了一种数据处理方法、装置、设备及介质,数据处理方法包括:获取各第一数据单元和各第二数据单元,其中,各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到;对各第一数据单元和各第二数据单元执行条件过滤操作,根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作;对经关联过滤操作后剩余的各第一数据单元执行重组操作,得到各第一数据单元集;根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作,得到各第二数据单元集;其中,各第一数据单元集无交集;对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作,得到数据处理结果。

    一种数据处理方法、装置、设备及介质

    公开(公告)号:CN116910099B

    公开(公告)日:2023-11-17

    申请号:CN202311139421.8

    申请日:2023-09-06

    Abstract: 本申请公开了一种数据处理方法、装置、设备及介质,数据处理方法包括:获取各第一数据单元和各第二数据单元,其中,各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到;对各第一数据单元和各第二数据单元执行条件过滤操作,根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作;对经关联过滤操作后剩余的各第一数据单元执行重组操作,得到各第一数据单元集;根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作,得到各第二数据单元集;其中,各第一数据单元集无交集;对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作,得到数据处理结果。

    MPP并行数据库实例级副本均衡方法

    公开(公告)号:CN115309550A

    公开(公告)日:2022-11-08

    申请号:CN202210930830.9

    申请日:2022-08-04

    Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法,其技术特点是:存储IO的均衡策略为每个WAL日志配置单独存储硬盘,为业务数据配置一个共享的大容量存储硬盘;物理内存的均衡策略采用动态的数据页面缓冲区分配方式;计算资源的均衡策略采用自适应工作方式;回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点,分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡,最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。

Patent Agency Ranking