公开(公告)号：CN102323946B

公开(公告)日：2013-03-27

申请号：CN201110259524.9

申请日：2011-09-05

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李阳 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  徐岩 ,  饶路 ,  李晓鹏 ,  刘荣 ,  赵婧

IPC: G06F17/30

Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。

公开(公告)号：CN102750368A

公开(公告)日：2012-10-24

申请号：CN201210200158.4

申请日：2012-06-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  冯柯 ,  蒋志勇 ,  李阳 ,  刘荣 ,  蒋旭 ,  王洋洋 ,  赵雪静 ,  王效忠 ,  关刚 ,  饶路

IPC: G06F17/30

Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。

公开(公告)号：CN102495906A

公开(公告)日：2012-06-13

申请号：CN201110436695.4

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周宇 ,  张熠 ,  蒋志勇 ,  何清法 ,  冯柯 ,  顾云苏 ,  郭一兵 ,  关刚 ,  李阳 ,  孟勃荣

IPC: G06F17/30

Abstract: 本发明涉及一种实现断点续传的增量式数据迁移方法，该方法类似于文件传输的断点续传，实现以表对象和纪录为单位的断点续迁。当数据迁移的过程中发生系统死机、停电、网络断开、系统或者应用程序崩溃等情况而导致迁移失败，重新执行迁移过程时，基于该方法的迁移工具能够自动识别已完成和未完成的迁移任务，从中断点开始继续迁移。本发明的断点续传的迁移方法主要包括两方面：基于迁移计划的迁移中断状态保存和迁移中断状态恢复。采用本发明的数据迁移方法能够保证每次迁移的有效性和连续性，在迁移中断发生时，再次执行同样的迁移任务能够在原有的基础上进行增量迁移，从而避免不必要的数据重复迁移；同时该方法也可免除人工对中断点进行识别然后手工调整迁移任务的繁琐性，大大提升了数据迁移的效率。尤其在海量数据的迁移中，该方法为迁移的连续性、可靠性和高效性提供了有力的保障。

公开(公告)号：CN102033938A

公开(公告)日：2011-04-27

申请号：CN201010597139.0

申请日：2010-12-10

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李阳 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  徐岩 ,  谢卫平 ,  李晓鹏 ,  刘荣 ,  贾宗秀

IPC: G06F17/30

Abstract: 本发明方法是基于一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布，这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射，从而在第一维实现数据的分布负载均衡，在第二维实现集群的动态扩展。本发明使用了二级映射方法，既保留了集群中常用的hash分发方法的数据分布负载均衡特点，又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性，保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比，本发明不仅不需停止应用业务，而且操作简单，每扩展一个节点的时间在秒级。

公开(公告)号：CN102063502B

公开(公告)日：2013-07-31

申请号：CN201110001385.X

申请日：2011-01-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周宇 ,  徐岩 ,  何清法 ,  冯柯 ,  顾云苏 ,  蒋志勇 ,  李阳 ,  谢卫平 ,  孟勃荣 ,  关刚

IPC: G06F17/30

Abstract: 一种实现异构数据库数据同步的方法，其中异种数据库包括数据库A和数据库B，数据库A是用户应用所使用的数据库，数据库访问接口使用JDBC接口，数据库B是进行数据同步的目的数据库；还包括符合SUN规范的JDBC驱动AB，所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包；对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动，而对数据库有更改的函数调用，则经过sql语法映射转换后，再传递给数据库B的JDBC驱动。

公开(公告)号：CN102323946A

公开(公告)日：2012-01-18

申请号：CN201110259524.9

申请日：2011-09-05

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李阳 ,  何清法 ,  顾云苏 ,  冯柯 ,  蒋志勇 ,  徐岩 ,  饶路 ,  李晓鹏 ,  刘荣 ,  赵婧

IPC: G06F17/30

Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。

公开(公告)号：CN102495905A

公开(公告)日：2012-06-13

申请号：CN201110436691.6

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 关刚 ,  冯柯 ,  刘碧楠 ,  何清法 ,  顾云苏 ,  王嘉春 ,  蒋志勇 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明公开一种基于行存数据库引擎的列存方法，包括：行存储数据库，并基于所述行数据库进行如下操作：创建压缩表，并指定相应的压缩级别；将CSV格式的数据文件导入到所创建的压缩表中，其特征在于；压缩表对外表现为一个普通的数据表，可以支持通常的DML/DDL操作；对内实现为一个主HOT数据段及一个从LOB大对象段，其中主HOT段用于存储内部定义的属性行，从LOB段用于存储压缩方法控制结构及压缩后的数据内容；压缩表支持各种查询语句，查询时虽然需要将行中所有字段读入内存，但只解压与查询相关的列数据；所述压缩表支持更新操作，且更新时仅解压代更新的列；所述压缩表支持快速删除，仅做删除标记，当从行中没有记录时，主行会被自动删除；和删除压缩表。本发明通过行存数据库技术，在不改变存储引擎物理结果的前提下，实现了按列压缩存储的技术，并达到了列存数据库高压缩比的效果。