-
公开(公告)号:CN112099961A
公开(公告)日:2020-12-18
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
公开(公告)号:CN112099960A
公开(公告)日:2020-12-18
申请号:CN202010993466.1
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F9/52
Abstract: 本发明涉及一种基于路径推进的分布式死锁检测方法,包括步骤1、各个节点启动时,创建死锁检测线程和死锁检测队列;步骤2、锁模块发起远程锁请求,将请求信息加入死锁检测队列;步骤3、死锁检测线程定时遍历死锁检测队列,发起死锁检测请求;步骤4、死锁检测进程将死锁检测请求发送到目标节点;步骤5、目标节点接收到死锁检测请求后,进行死锁检测请求处理;步骤6、发起检测请求的死锁检测线程接收目标节点返回信息并处理;步骤7、检测到死锁,唤醒请求信息所属的线程,解开等待链,继续执行步骤3。本发明每个节点都可以执行死锁检测任务,能够快速检测出系统中发生的死锁,同时避免死锁检测单点故障,保证了数据库系统的正常运行。
-
公开(公告)号:CN112099961B
公开(公告)日:2024-02-06
申请号:CN202010993476.5
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于锁状态缓存的分布式锁管理器的实现方法,包括步骤1、上层模块调用锁模块,进入锁模块并进行快速加锁;步骤2、检查是否有其他事务已经持有锁,处理锁冲突;步骤3、等待本节点事务放锁;步骤4、向主节点请求加锁,主节点处理加锁请求;步骤5、向持有锁的远程节点请求放锁,从节点处理放锁请求;步骤6、加锁成功,记录加锁信息并返回到上层模块。本发明设计合理,其通过主节点锁管理器和从节点锁状态缓存方式,即可以协调各个节点的加锁请求,保证数据库的一致性,又利用了数据库事务DML操作为主的特性,即节点上的锁状态缓存在大部分情况下都是有效的,有效减少了远程节点的访问开销,提高了加锁效率。
-
公开(公告)号:CN112100190B
公开(公告)日:2023-12-15
申请号:CN202010993803.7
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法,其主要技术特点是:在每个从节点锁对象上设置更新序列,主节点维护各个从节点持有锁状态的记录,并在每个记录上设置更新序列;从节点向主节点发送加锁请求;主节点根据请求节点锁状态进行加锁处理,返回加锁成功消息,或者向当前持有锁的冲突节点发送放锁请求;从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息;主节点检查冲突节点锁状态当前的更新序列,再次尝试加锁处理;从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理,能够有效地维护各个节点之间锁状态的一致性,保证了数据库服务的正常运行,防止数据库服务的中断,提高了系统运行的安全性和可靠性。
-
公开(公告)号:CN116881051B
公开(公告)日:2023-12-08
申请号:CN202311142122.X
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括:在接收到备份指令的情况下,采集目标数据的表对象;根据表对象的表格信息,对表对象进行分片处理,获得N个数据片;调用N个备份线程并行对N个数据片进行数据备份处理,以将N个数据片备份至预设的数据库;在接收到恢复指令的情况下,并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理,获得N个数据片;对N个数据片进行合片处理,获得目标数据。本发明实施例中,通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复,这降低了数据备份和数据恢复的时间,进而提高了数据备份和数据恢复的效率。
-
公开(公告)号:CN116881051A
公开(公告)日:2023-10-13
申请号:CN202311142122.X
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括:在接收到备份指令的情况下,采集目标数据的表对象;根据表对象的表格信息,对表对象进行分片处理,获得N个数据片;调用N个备份线程并行对N个数据片进行数据备份处理,以将N个数据片备份至预设的数据库;在接收到恢复指令的情况下,并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理,获得N个数据片;对N个数据片进行合片处理,获得目标数据。本发明实施例中,通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复,这降低了数据备份和数据恢复的时间,进而提高了数据备份和数据恢复的效率。
-
公开(公告)号:CN116644090A
公开(公告)日:2023-08-25
申请号:CN202310931499.7
申请日:2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F16/215 , G06F16/2455 , G06F16/9035
Abstract: 本申请公开了一种数据查询方法、装置、设备及介质,数据查询方法包括:获取数据查询请求,根据数据查询请求生成数据限制指令和数据扫描指令;其中,若数据查询请求中包含数据筛选规则,则数据限制指令中包含与数据筛选规则对应的数据筛选条件;若数据限制指令中包含数据筛选条件,则将数据筛选条件添加到数据扫描指令中;根据数据扫描指令执行数据扫描操作,按照数据限制指令从扫描到的数据得到目标数据,目标数据为数据查询请求对应的数据查询结果;其中,根据数据扫描指令执行数据扫描操作包括:若数据扫描指令中包含数据筛选条件,则根据数据筛选条件确定无需扫描的数据,并对需要扫描的数据进行扫描。
-
公开(公告)号:CN116360709B
公开(公告)日:2023-08-08
申请号:CN202310629133.4
申请日:2023-05-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种数据存取系统,包括,第一SSD缓存阵列,包括多个并联的SSD存储器;处理器,分别连接到多个并联的SSD存储器;第二双SSD目录备份存储器,包括两个互为备份的SSD存储器,且与第一SSD缓存阵列相连;第一HDD磁盘阵列,包括多个HDD磁盘,用于存储数据;多个传感器,用于探测SSD存储器和HDD磁盘的状态数据;性能管理单元,包括第一接口,分别连接到第一SSD缓存阵列中的每个SSD存储器;第三接口,分别连接到第一HDD磁盘阵列中的每个HDD磁盘;第二接口,与处理器相连;第四接口,连接到多个传感器,获取传感器探测的状态数据;第五接口,连接到第二双SSD目录备份存储器。
-
公开(公告)号:CN115309837A
公开(公告)日:2022-11-08
申请号:CN202210930836.6
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法,其技术特点是:包括异步IO线程、流水化线程和排序线程,其根据所有CU的元信息构建CU序列,并根据CU序列的最小值信息构造边界序列,在排序过程中,将CU视为一个数据集合,对于相邻的两个CU,使用后一个CU的最小值做边界将数据划分为两部分,前一部分可以作为子集合单独排序,后一部分和第二个CU组成一个新的集合,再和后面的CU继续进行相同的处理,实现流水排序。本发明设计合理,实现了对采用列式存储并且近似有序的数据集合进行快速排序功能,具有处理速度快、占用资源小等特点。
-
公开(公告)号:CN112099996A
公开(公告)日:2020-12-18
申请号:CN202010993792.2
申请日:2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法,包括以下步骤:在页面头部分配空间作为页面更新序号;集群中所有的节点在更新数据页面时,更新页面更新序号和本节点的重做日志;重新启动数据库集群,最先启动的节点成为主节点,由主节点进行实例恢复;主节点从共享磁盘加载控制文件,从控制文件中读取每一个节点的重做日志信息作为扫描句柄,保存在扫描句柄数组中;遍历所有的扫描句柄,恢复重做日志;所有扫描句柄已经扫描完毕,重做日志恢复结束。本发明在新增重做日志和在实例恢复时,利用页面更新序号判断页面是否连续,将相同页面在不同节点之间的修改按序恢复,保证数据的一致性,提高了系统运行的可靠性。
-
-
-
-
-
-
-
-
-