公开(公告)号：CN115630065B

公开(公告)日：2023-08-22

申请号：CN202211272183.3

申请日：2022-10-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周勇亮 ,  贾宗秀 ,  赵冬伟 ,  李晓鹏 ,  关旭 ,  蒋旭 ,  姬涛涛 ,  刘勇生 ,  张昕尧

IPC: G06F16/22 ,  G06F16/2453 ,  G06F3/06

Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法，包括：步骤S1、接收一系列按照预定格式流传输的块数据；步骤S2、基于预定格式进行解析，获取所述块数据中的数据组成；步骤S3、分析数据组成的不同部分，对应的采用不同压缩模式对数据块进行压缩；步骤S4、基于所采用的压缩模式，在第一查找表中匹配对应的分区号段，在压缩数据中单独设置的索引分区类型字段，将所述匹配到的索引分区号段作为附加数据；步骤S5、基于所述的分区号标志，存储到对应的子分区表中，并记录对应数据的索引和压缩模式字段；步骤S6、在数据存储过程中，对不同的子分区表，分配不同大小的连续空间进行存储；步骤S7、用户基于数据压缩模式或数据格式类型，在对应的索引存储表中进行检索。

公开(公告)号：CN119828970A

公开(公告)日：2025-04-15

申请号：CN202411905660.4

申请日：2024-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  郭雅宁 ,  明馨宇 ,  张巍 ,  贾宗秀 ,  杨笛 ,  郭鑫 ,  唐道坤 ,  金振山

IPC: G06F3/06 ,  G06F11/07

Abstract: 本申请提供一种数据处理方法及相关设备，涉及数据库应用领域，所述方法包括：在接收到目标数据的写入请求的情况下，为目标数据申请存储空间，存储空间包括至少一个范围，范围包括数据页面和校验页面；将第一范围的校验信息写入第一范围对应的校验页面，第一范围的校验信息为将目标数据写入第一范围对应的数据页面时，计算得到的校验信息，校验信息用于进行冗余校验，第一范围为至少一个范围中的任一范围；将第一范围写入持久化存储。可以利用校验信息检测数据是否损坏，提高了数据存储的可靠性，降低了因静默错误等原因导致的数据损坏风险；同时减少出现的写放大问题、减少配置额外副本占用的存储空间，能够有效地平衡了存储开销和数据可靠性。

公开(公告)号：CN116360709B

公开(公告)日：2023-08-08

申请号：CN202310629133.4

申请日：2023-05-31

Applicant: 天津神舟通用数据技术有限公司

Inventor： 姬涛涛 ,  赵冬伟 ,  吴嵩 ,  顾云苏 ,  刘碧楠 ,  李晓鹏 ,  贾宗秀

IPC: G06F3/06

Abstract: 本发明提供一种数据存取系统，包括，第一SSD缓存阵列，包括多个并联的SSD存储器；处理器，分别连接到多个并联的SSD存储器；第二双SSD目录备份存储器，包括两个互为备份的SSD存储器，且与第一SSD缓存阵列相连；第一HDD磁盘阵列，包括多个HDD磁盘，用于存储数据；多个传感器，用于探测SSD存储器和HDD磁盘的状态数据；性能管理单元，包括第一接口，分别连接到第一SSD缓存阵列中的每个SSD存储器；第三接口，分别连接到第一HDD磁盘阵列中的每个HDD磁盘；第二接口，与处理器相连；第四接口，连接到多个传感器，获取传感器探测的状态数据；第五接口，连接到第二双SSD目录备份存储器。

公开(公告)号：CN115309837A

公开(公告)日：2022-11-08

申请号：CN202210930836.6

申请日：2022-08-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  贾宗秀 ,  刘尧 ,  姬涛涛 ,  蒋旭 ,  张昕尧 ,  赵冬伟 ,  朱亚楠 ,  吴嵩 ,  周勇亮 ,  刘勇生 ,  桑国彪 ,  乐承予

IPC: G06F16/28 ,  G06F16/2457 ,  G06Q30/02

Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。

公开(公告)号：CN102033938A

公开(公告)日：2011-04-27

申请号：CN201010597139.0

申请日：2010-12-10

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李阳 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  徐岩 ,  谢卫平 ,  李晓鹏 ,  刘荣 ,  贾宗秀

IPC: G06F17/30

Abstract: 本发明方法是基于一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布，这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射，从而在第一维实现数据的分布负载均衡，在第二维实现集群的动态扩展。本发明使用了二级映射方法，既保留了集群中常用的hash分发方法的数据分布负载均衡特点，又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性，保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比，本发明不仅不需停止应用业务，而且操作简单，每扩展一个节点的时间在秒级。