-
公开(公告)号:CN105302667B
公开(公告)日:2018-05-04
申请号:CN201510657187.7
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法,其技术特点是:包括在线数据备份与恢复方法和历史数据备份与恢复方法,所述在线数据备份与恢复方法包括:创建表空间并按时间划分范围分区表;在向数据库导入数据的过程中实现一个备份功能;将备份信息写入系统表;当天数据变成历史数据时将其按历史数据备份方式完成备份;当发生磁盘故障时,重新装载数据,实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法,使得在发生介质故障时,提高了单数据库节点的高可用性、高可靠性,有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号:CN105302667A
公开(公告)日:2016-02-03
申请号:CN201510657187.7
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法,其技术特点是:包括在线数据备份与恢复方法和历史数据备份与恢复方法,所述在线数据备份与恢复方法包括:创建表空间并按时间划分范围分区表;在向数据库导入数据的过程中实现一个备份功能;将备份信息写入系统表;当天数据变成历史数据时将其按历史数据备份方式完成备份;当发生磁盘故障时,重新装载数据,实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法,使得在发生介质故障时,提高了单数据库节点的高可用性、高可靠性,有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号:CN109901948B
公开(公告)日:2022-04-12
申请号:CN201910119253.3
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。
-
公开(公告)号:CN109918229B
公开(公告)日:2021-03-30
申请号:CN201910119274.5
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。
-
公开(公告)号:CN109901948A
公开(公告)日:2019-06-18
申请号:CN201910119253.3
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。
-
公开(公告)号:CN109918229A
公开(公告)日:2019-06-21
申请号:CN201910119274.5
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。
-
公开(公告)号:CN116910099A
公开(公告)日:2023-10-20
申请号:CN202311139421.8
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质,数据处理方法包括:获取各第一数据单元和各第二数据单元,其中,各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到;对各第一数据单元和各第二数据单元执行条件过滤操作,根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作;对经关联过滤操作后剩余的各第一数据单元执行重组操作,得到各第一数据单元集;根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作,得到各第二数据单元集;其中,各第一数据单元集无交集;对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作,得到数据处理结果。
-
公开(公告)号:CN116910099B
公开(公告)日:2023-11-17
申请号:CN202311139421.8
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质,数据处理方法包括:获取各第一数据单元和各第二数据单元,其中,各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到;对各第一数据单元和各第二数据单元执行条件过滤操作,根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作;对经关联过滤操作后剩余的各第一数据单元执行重组操作,得到各第一数据单元集;根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作,得到各第二数据单元集;其中,各第一数据单元集无交集;对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作,得到数据处理结果。
-
公开(公告)号:CN115361434A
公开(公告)日:2022-11-18
申请号:CN202210930712.8
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/145 , H04L67/1004
Abstract: 本发明涉及一种分布式系统高负载情况下的多路径心跳检测方法,其技术特点是:包括同步运行的独立心跳检测方法、业务功能心跳检测方法和对端主动应答心跳检测方法,如果任何一种心跳检测方法结果是正常的,则本轮心跳检测结果是正常的。本发明设计合理,其融合了高频检测、长超时时间、多路径检测的心跳检测方法,通过独立的心跳检测、业务功能、对端主动应答以及动态识别超时事件等方法,可以在较短的时间内识别出心跳故障状态,又可以在系统高压力下应对系统误判心跳故障问题,极大提升了数据库的稳定性和可用性。
-
公开(公告)号:CN115309550A
公开(公告)日:2022-11-08
申请号:CN202210930830.9
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法,其技术特点是:存储IO的均衡策略为每个WAL日志配置单独存储硬盘,为业务数据配置一个共享的大容量存储硬盘;物理内存的均衡策略采用动态的数据页面缓冲区分配方式;计算资源的均衡策略采用自适应工作方式;回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点,分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡,最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。
-
-
-
-
-
-
-
-
-