-
公开(公告)号:CN117149885A
公开(公告)日:2023-12-01
申请号:CN202311422024.1
申请日:2023-10-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/25 , G06F16/23 , G06F16/242 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种基于数据库主节点转发的读写分离实现方法,包括:步骤1:数据库主节点接收应用程序发送过来的SQL语句;步骤2:对SQL语句进行语法解析和语义分析,获得SQL语句类型以及操作的对象ID;步骤3:判断SQL语句是否为只读操作;步骤4:如果是,将SQL语句发送到从节点执行,等待接收到从节点执行结果后返回客户端;否则,直接在主节点执行SQL语句,将执行结果返回客户端;步骤5:如果不是,在主节点执行SQL语句;记录SQL语句更新的所有对象的ID;事务提交时,将本事务更新过的所有对象ID对应的LSN设置为本事务的提交LSN,供后续只读语句执行到步骤4时使用。因此主数据库可以专注于处理写操作,从而提高了写操作的性能和响应时间。
-
公开(公告)号:CN116756093A
公开(公告)日:2023-09-15
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN115361434A
公开(公告)日:2022-11-18
申请号:CN202210930712.8
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/145 , H04L67/1004
Abstract: 本发明涉及一种分布式系统高负载情况下的多路径心跳检测方法,其技术特点是:包括同步运行的独立心跳检测方法、业务功能心跳检测方法和对端主动应答心跳检测方法,如果任何一种心跳检测方法结果是正常的,则本轮心跳检测结果是正常的。本发明设计合理,其融合了高频检测、长超时时间、多路径检测的心跳检测方法,通过独立的心跳检测、业务功能、对端主动应答以及动态识别超时事件等方法,可以在较短的时间内识别出心跳故障状态,又可以在系统高压力下应对系统误判心跳故障问题,极大提升了数据库的稳定性和可用性。
-
公开(公告)号:CN115309550A
公开(公告)日:2022-11-08
申请号:CN202210930830.9
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法,其技术特点是:存储IO的均衡策略为每个WAL日志配置单独存储硬盘,为业务数据配置一个共享的大容量存储硬盘;物理内存的均衡策略采用动态的数据页面缓冲区分配方式;计算资源的均衡策略采用自适应工作方式;回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点,分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡,最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。
-
公开(公告)号:CN112100190A
公开(公告)日:2020-12-18
申请号:CN202010993803.7
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法,其主要技术特点是:在每个从节点锁对象上设置更新序列,主节点维护各个从节点持有锁状态的记录,并在每个记录上设置更新序列;从节点向主节点发送加锁请求;主节点根据请求节点锁状态进行加锁处理,返回加锁成功消息,或者向当前持有锁的冲突节点发送放锁请求;从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息;主节点检查冲突节点锁状态当前的更新序列,再次尝试加锁处理;从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理,能够有效地维护各个节点之间锁状态的一致性,保证了数据库服务的正常运行,防止数据库服务的中断,提高了系统运行的安全性和可靠性。
-
公开(公告)号:CN112099961A
公开(公告)日:2020-12-18
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
公开(公告)号:CN112099960A
公开(公告)日:2020-12-18
申请号:CN202010993466.1
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F9/52
Abstract: 本发明涉及一种基于路径推进的分布式死锁检测方法,包括步骤1、各个节点启动时,创建死锁检测线程和死锁检测队列;步骤2、锁模块发起远程锁请求,将请求信息加入死锁检测队列;步骤3、死锁检测线程定时遍历死锁检测队列,发起死锁检测请求;步骤4、死锁检测进程将死锁检测请求发送到目标节点;步骤5、目标节点接收到死锁检测请求后,进行死锁检测请求处理;步骤6、发起检测请求的死锁检测线程接收目标节点返回信息并处理;步骤7、检测到死锁,唤醒请求信息所属的线程,解开等待链,继续执行步骤3。本发明每个节点都可以执行死锁检测任务,能够快速检测出系统中发生的死锁,同时避免死锁检测单点故障,保证了数据库系统的正常运行。
-
公开(公告)号:CN112099961B
公开(公告)日:2024-02-06
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
公开(公告)号:CN112100190B
公开(公告)日:2023-12-15
申请号:CN202010993803.7
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法,其主要技术特点是:在每个从节点锁对象上设置更新序列,主节点维护各个从节点持有锁状态的记录,并在每个记录上设置更新序列;从节点向主节点发送加锁请求;主节点根据请求节点锁状态进行加锁处理,返回加锁成功消息,或者向当前持有锁的冲突节点发送放锁请求;从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息;主节点检查冲突节点锁状态当前的更新序列,再次尝试加锁处理;从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理,能够有效地维护各个节点之间锁状态的一致性,保证了数据库服务的正常运行,防止数据库服务的中断,提高了系统运行的安全性和可靠性。
-
公开(公告)号:CN116881051B
公开(公告)日:2023-12-08
申请号:CN202311142122.X
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括:在接收到备份指令的情况下,采集目标数据的表对象;根据表对象的表格信息,对表对象进行分片处理,获得N个数据片;调用N个备份线程并行对N个数据片进行数据备份处理,以将N个数据片备份至预设的数据库;在接收到恢复指令的情况下,并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理,获得N个数据片;对N个数据片进行合片处理,获得目标数据。本发明实施例中,通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复,这降低了数据备份和数据恢复的时间,进而提高了数据备份和数据恢复的效率。
-
-
-
-
-
-
-
-
-