-
公开(公告)号：CN114706797A
公开(公告)日：2022-07-05
申请号：CN202210638814.2
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效回收存储空间的方法，具体步骤如下：客户端向集群协调器发送回收任务信息，集群协调器申请待处理目标表的排它锁；集群协调器向协调器节点发送回收任务信息；协调器节点根据接收的回收任务信息，按列逐行或者逐块处理磁盘数据中有空洞的数据并生成有效数据列，删除原有列无效数据；协调器节点将删除结果返回给集群协调器；释放目标表的排它锁。本发明所述的一种高效回收存储空间的方法，解决了大数据删除表数据后，这些数据仍然占用磁盘空间造成数据空洞的问题，解决了磁盘资源紧张以及只能通过表转储数据才能解决数据空洞和数据膨胀问题。
-
公开(公告)号：CN114706797B
公开(公告)日：2022-09-16
申请号：CN202210638814.2
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效回收存储空间的方法，具体步骤如下：客户端向集群协调器发送回收任务信息，集群协调器申请待处理目标表的排它锁；集群协调器向协调器节点发送回收任务信息；协调器节点根据接收的回收任务信息，按列逐行或者逐块处理磁盘数据中有空洞的数据并生成有效数据列，删除原有列无效数据；协调器节点将删除结果返回给集群协调器；释放目标表的排它锁。本发明所述的一种高效回收存储空间的方法，解决了大数据删除表数据后，这些数据仍然占用磁盘空间造成数据空洞的问题，解决了磁盘资源紧张以及只能通过表转储数据才能解决数据空洞和数据膨胀问题。
-
公开(公告)号：CN114706861A
公开(公告)日：2022-07-05
申请号：CN202210638950.1
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。
-
Patent Agency Ranking
公开(公告)号：CN112306756A
公开(公告)日：2021-02-02
申请号：CN202011278277.2
申请日：2020-11-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种高效实现主副本数据完全一致性的方法，包括以下方法：S1、解析DML任务后扫描相关表的数据；S2、根据设定的关联条件逐条生成结果集；S3、把结果集组成数据块；S4、本地立即存储完成的数据块；S5、依照存储顺序给数据块编号；S6、把数据块加入异步发送队列；S7、本地处理完所有数据块；S8、确认备份节点存储完所有数据块。本发明所述的集群数据库的表为了高可用，被横向切分成多个表分片，每个表分片有多个备份，一个备份不可用了，另一个备份必须立即替代，数据必须完全一致。原来的执行逻辑是同时下发DML任务到主备节点上分别执行，各备份节点分别按照自己的并发逻辑执行可能导致主备对应行的数据不一致。
-
公开(公告)号：CN114706861B
公开(公告)日：2022-09-16
申请号：CN202210638950.1
申请日：2022-06-08
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种在列存储引擎中按列动态分组存储的方法，将数据表中所有列数据按照预设的行数切分成若干个DC行，按照顺序进行编号，同时生成对应的描述信息BSI。将描述信息存储到元数据中；数据按照列分组定义进行切分，分别存储到不同的数据文件中；读取数据时，存储单元首先预加载数据表的元数据信息，基于元数据找到对应的数据文件，读取对应的数据块。本发明所述的一种在列存储引擎中按列动态分组存储的方法，在通过列分组在写入数据时规避写放大问题，在读取数据时解决读放大问题，进而提升列存数据库的读写性能。
-
公开(公告)号：CN112612854A
公开(公告)日：2021-04-06
申请号：CN202011607550.1
申请日：2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法，包括以下步骤：S1、集群Coordinator接收用户的DML操作；S2、向一致性服务gcware注册Failover信息；S3、向计算单元发送DML任务；S4、计算单元处理过程中Coordinator宕机；S5、触发Failover；S6、进行一致性服务；S7、选择新的coordinator接管；S8、判断各计算单元状态；S9、回滚目标表数据；S10、释放目标表排它锁。本发明创造有益效果：一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确，保持了目标表数据在各计算单元的数据一致，避免出现严重的数据问题。
-
公开(公告)号：CN112612854B
公开(公告)日：2023-01-24
申请号：CN202011607550.1
申请日：2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法，包括以下步骤：S1、集群Coordinator接收用户的DML操作；S2、向一致性服务gcware注册Failover信息；S3、向计算单元发送DML任务；S4、计算单元处理过程中Coordinator宕机；S5、触发Failover；S6、进行一致性服务；S7、选择新的coordinator接管；S8、判断各计算单元状态；S9、回滚目标表数据；S10、释放目标表排它锁。本发明创造有益效果：一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确，保持了目标表数据在各计算单元的数据一致，避免出现严重的数据问题。
-
公开(公告)号：CN112306996A
公开(公告)日：2021-02-02
申请号：CN202011279673.7
申请日：2020-11-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种实现多集群间联合查询和快速数据迁移的方法，包括：将每个用户的数据进行单独隔离，形成虚拟集群；每个虚拟集群为一个单独的子集群，每个子集群包含多种业务数据；多个子集群由同一个coordinator集群统一管理；多个子集群还均连接元数据集群，所述元数据集群存储着每个子集群的元数据。本发明所述的实现多集群间联合查询和快速数据迁移的方法实现多VC（虚拟集群）间的数据流转，因为多VC彼此共用相同的元数据服务，VC1可以直接把VC2的数据拉到本地，直接参与计算，这些过程都是在集群数据库内部执行的，对用户不感知。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.036 seconds)
