公开(公告)号：CN102063502B

公开(公告)日：2013-07-31

申请号：CN201110001385.X

申请日：2011-01-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周宇 ,  徐岩 ,  何清法 ,  冯柯 ,  顾云苏 ,  蒋志勇 ,  李阳 ,  谢卫平 ,  孟勃荣 ,  关刚

IPC: G06F17/30

Abstract: 一种实现异构数据库数据同步的方法，其中异种数据库包括数据库A和数据库B，数据库A是用户应用所使用的数据库，数据库访问接口使用JDBC接口，数据库B是进行数据同步的目的数据库；还包括符合SUN规范的JDBC驱动AB，所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包；对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动，而对数据库有更改的函数调用，则经过sql语法映射转换后，再传递给数据库B的JDBC驱动。

公开(公告)号：CN102402617A

公开(公告)日：2012-04-04

申请号：CN201110436693.5

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  曹晖 ,  冯柯 ,  何清法 ,  顾云苏 ,  王嘉春 ,  毛云青 ,  徐昶 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构，以及针对分片数据的稀疏哈希位图索引存储结构，稀疏哈希位图为对需索引数据的概要知识，也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询，大大减少对数据的磁盘读写次数，并且索引空间占用量极小，相对于B+树索引更适用于历史海量数据的查询，且基于此系统及方法能够方便的实现对数据库和索引的压缩存储，并能过滤分片压缩包从而极大减小压缩数据库的解码开销。

公开(公告)号：CN102063502A

公开(公告)日：2011-05-18

申请号：CN201110001385.X

申请日：2011-01-06

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周宇 ,  徐岩 ,  何清法 ,  冯柯 ,  顾云苏 ,  蒋志勇 ,  李阳 ,  谢卫平 ,  孟勃荣 ,  关刚

IPC: G06F17/30

Abstract: 一种实现异构数据库数据同步的方法，其中异种数据库包括数据库A和数据库B，数据库A是用户应用所使用的数据库，数据库访问接口使用JDBC接口，数据库B是进行数据同步的目的数据库；还包括符合SUN规范的JDBC驱动AB，所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包；对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动，而对数据库有更改的函数调用，则经过sql语法映射转换后，再传递给数据库B的JDBC驱动。

公开(公告)号：CN102752372A

公开(公告)日：2012-10-24

申请号：CN201210199980.3

申请日：2012-06-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 孙鹏 ,  蒋志勇 ,  蒋旭 ,  谢卫平 ,  周丽霞 ,  赵殿魁 ,  关刚 ,  王效忠 ,  周宇 ,  饶路

IPC: H04L29/08 ,  G06F17/30

Abstract: 本发明涉及一种基于文件的数据库同步方法，其主要技术特点是：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理，以文件方式快速地从源端数据库向目标端数据库进行数据库同步，能高效地保存所要同步的数据库数据，并且在异构数据库和操作系统环境中，均能解析文件进行数据的同步操作，从而支持向多种异构数据库进行同步的特性，同时，采用全量同步和增量同步方法，提高了数据库同步效率。

公开(公告)号：CN102495905A

公开(公告)日：2012-06-13

申请号：CN201110436691.6

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 关刚 ,  冯柯 ,  刘碧楠 ,  何清法 ,  顾云苏 ,  王嘉春 ,  蒋志勇 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明公开一种基于行存数据库引擎的列存方法，包括：行存储数据库，并基于所述行数据库进行如下操作：创建压缩表，并指定相应的压缩级别；将CSV格式的数据文件导入到所创建的压缩表中，其特征在于；压缩表对外表现为一个普通的数据表，可以支持通常的DML/DDL操作；对内实现为一个主HOT数据段及一个从LOB大对象段，其中主HOT段用于存储内部定义的属性行，从LOB段用于存储压缩方法控制结构及压缩后的数据内容；压缩表支持各种查询语句，查询时虽然需要将行中所有字段读入内存，但只解压与查询相关的列数据；所述压缩表支持更新操作，且更新时仅解压代更新的列；所述压缩表支持快速删除，仅做删除标记，当从行中没有记录时，主行会被自动删除；和删除压缩表。本发明通过行存数据库技术，在不改变存储引擎物理结果的前提下，实现了按列压缩存储的技术，并达到了列存数据库高压缩比的效果。

公开(公告)号：CN102495906A

公开(公告)日：2012-06-13

申请号：CN201110436695.4

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 周宇 ,  张熠 ,  蒋志勇 ,  何清法 ,  冯柯 ,  顾云苏 ,  郭一兵 ,  关刚 ,  李阳 ,  孟勃荣

IPC: G06F17/30

Abstract: 本发明涉及一种实现断点续传的增量式数据迁移方法，该方法类似于文件传输的断点续传，实现以表对象和纪录为单位的断点续迁。当数据迁移的过程中发生系统死机、停电、网络断开、系统或者应用程序崩溃等情况而导致迁移失败，重新执行迁移过程时，基于该方法的迁移工具能够自动识别已完成和未完成的迁移任务，从中断点开始继续迁移。本发明的断点续传的迁移方法主要包括两方面：基于迁移计划的迁移中断状态保存和迁移中断状态恢复。采用本发明的数据迁移方法能够保证每次迁移的有效性和连续性，在迁移中断发生时，再次执行同样的迁移任务能够在原有的基础上进行增量迁移，从而避免不必要的数据重复迁移；同时该方法也可免除人工对中断点进行识别然后手工调整迁移任务的繁琐性，大大提升了数据迁移的效率。尤其在海量数据的迁移中，该方法为迁移的连续性、可靠性和高效性提供了有力的保障。