公开(公告)号：CN116881051A

公开(公告)日：2023-10-13

申请号：CN202311142122.X

申请日：2023-09-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王金海 ,  付秋颖 ,  刘碧楠 ,  张雷 ,  周勇亮 ,  王德鑫 ,  胡薇 ,  吴嵩

IPC: G06F11/14

Abstract: 本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。

公开(公告)号：CN116644090A

公开(公告)日：2023-08-25

申请号：CN202310931499.7

申请日：2023-07-27

Applicant: 天津神舟通用数据技术有限公司

Inventor： 于凯 ,  李彬 ,  周勇亮 ,  赵德禄 ,  吴嵩 ,  蒋旭 ,  胡薇

IPC: G06F16/242 ,  G06F16/215 ,  G06F16/2455 ,  G06F16/9035

Abstract: 本申请公开了一种数据查询方法、装置、设备及介质，数据查询方法包括：获取数据查询请求，根据数据查询请求生成数据限制指令和数据扫描指令；其中，若数据查询请求中包含数据筛选规则，则数据限制指令中包含与数据筛选规则对应的数据筛选条件；若数据限制指令中包含数据筛选条件，则将数据筛选条件添加到数据扫描指令中；根据数据扫描指令执行数据扫描操作，按照数据限制指令从扫描到的数据得到目标数据，目标数据为数据查询请求对应的数据查询结果；其中，根据数据扫描指令执行数据扫描操作包括：若数据扫描指令中包含数据筛选条件，则根据数据筛选条件确定无需扫描的数据，并对需要扫描的数据进行扫描。

公开(公告)号：CN115309837A

公开(公告)日：2022-11-08

申请号：CN202210930836.6

申请日：2022-08-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  贾宗秀 ,  刘尧 ,  姬涛涛 ,  蒋旭 ,  张昕尧 ,  赵冬伟 ,  朱亚楠 ,  吴嵩 ,  周勇亮 ,  刘勇生 ,  桑国彪 ,  乐承予

IPC: G06F16/28 ,  G06F16/2457 ,  G06Q30/02

Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。

公开(公告)号：CN112099996A

公开(公告)日：2020-12-18

申请号：CN202010993792.2

申请日：2020-09-21

Applicant: 天津神舟通用数据技术有限公司

Inventor： 刘碧楠 ,  周勇亮 ,  吴嵩 ,  蒋旭 ,  于凯 ,  马岳 ,  李彬 ,  陈振巍

IPC: G06F11/14 ,  G06F16/23

Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法，包括以下步骤：在页面头部分配空间作为页面更新序号；集群中所有的节点在更新数据页面时，更新页面更新序号和本节点的重做日志；重新启动数据库集群，最先启动的节点成为主节点，由主节点进行实例恢复；主节点从共享磁盘加载控制文件，从控制文件中读取每一个节点的重做日志信息作为扫描句柄，保存在扫描句柄数组中；遍历所有的扫描句柄，恢复重做日志；所有扫描句柄已经扫描完毕，重做日志恢复结束。本发明在新增重做日志和在实例恢复时，利用页面更新序号判断页面是否连续，将相同页面在不同节点之间的修改按序恢复，保证数据的一致性，提高了系统运行的可靠性。