公开(公告)号：CN119828970A

公开(公告)日：2025-04-15

申请号：CN202411905660.4

申请日：2024-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  郭雅宁 ,  明馨宇 ,  张巍 ,  贾宗秀 ,  杨笛 ,  郭鑫 ,  唐道坤 ,  金振山

IPC: G06F3/06 ,  G06F11/07

Abstract: 本申请提供一种数据处理方法及相关设备，涉及数据库应用领域，所述方法包括：在接收到目标数据的写入请求的情况下，为目标数据申请存储空间，存储空间包括至少一个范围，范围包括数据页面和校验页面；将第一范围的校验信息写入第一范围对应的校验页面，第一范围的校验信息为将目标数据写入第一范围对应的数据页面时，计算得到的校验信息，校验信息用于进行冗余校验，第一范围为至少一个范围中的任一范围；将第一范围写入持久化存储。可以利用校验信息检测数据是否损坏，提高了数据存储的可靠性，降低了因静默错误等原因导致的数据损坏风险；同时减少出现的写放大问题、减少配置额外副本占用的存储空间，能够有效地平衡了存储开销和数据可靠性。

公开(公告)号：CN102968496A

公开(公告)日：2013-03-13

申请号：CN201210510033.1

申请日：2012-12-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王效忠 ,  冯柯 ,  蒋志勇 ,  赵殿奎 ,  杨永亮 ,  张巍 ,  关刚 ,  孟勃荣

IPC: G06F17/30 ,  G06F9/38

Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法，其主要技术特点是：包括步骤1：分块内存排序步骤：将外存文件划分成一定大小的微小桶并读入内存，每读入一个微小桶就对其进行快速排序，当没有更多内存可用或者没有更多数据时，对所有微小桶进行内存归并，然后写出到外存中，形成一个有序的桶；步骤2：外存归并步骤：对外存中的桶进行归并，并将归并结果输出到最终有序的文件中，生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能，简化了并发控制的机制，加快了处理速度，增加了大数据量排序算法的可扩展性。

公开(公告)号：CN119493799A

公开(公告)日：2025-02-21

申请号：CN202411551914.7

申请日：2024-11-01

Applicant: 天津神舟通用数据技术有限公司

Inventor： 于凯 ,  喻峣 ,  李路裕 ,  周勇亮 ,  刘碧楠 ,  孙静元 ,  张巍 ,  金振山

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/27

Abstract: 本申请实施例公开了分布式自增序列同步方法、装置、设备及存储介质。该方法包括：在分布式数据库集群中，设置一个主节点和多个从节点，主节点用于维护全局自增序列值；从节点根据预设的缓存参数，向主节点请求分配局部自增序列，主节点根据全局自增序列值计算局部自增序列的起始值，并分配预设数量的连续自增序列值至从节点；从节点将局部自增序列缓存至本地；当从节点缓存的局部自增序列耗尽时，向主节点发出新的分配请求，主节点根据当前全局自增序列值重新分配新的局部自增序列。本申请通过在分布式数据库集群环境中设置一个主节点和多个从节点，并由主节点统一管理全局自增序列值，实现了分布式环境下自增序列的可靠生成。

公开(公告)号：CN102968496B

公开(公告)日：2016-04-27

申请号：CN201210510033.1

申请日：2012-12-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 王效忠 ,  冯柯 ,  蒋志勇 ,  赵殿奎 ,  杨永亮 ,  张巍 ,  关刚 ,  孟勃荣

IPC: G06F17/30 ,  G06F9/38

Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法，其主要技术特点是：包括步骤1：分块内存排序步骤：将外存文件划分成一定大小的微小桶并读入内存，每读入一个微小桶就对其进行快速排序，当没有更多内存可用或者没有更多数据时，对所有微小桶进行内存归并，然后写出到外存中，形成一个有序的桶；步骤2：外存归并步骤：对外存中的桶进行归并，并将归并结果输出到最终有序的文件中，生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能，简化了并发控制的机制，加快了处理速度，增加了大数据量排序算法的可扩展性。