-
公开(公告)号：CN102981857A
公开(公告)日：2013-03-20
申请号：CN201210514328.6
申请日：2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法，其主要技术特点是：包括步骤1：建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构；步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令，获取各个数据库节点的连接信息后，连接各个数据库并且发送需要装载的数据；数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息；数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法，充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中，提升了数据库集群的搭建速度。
-
公开(公告)号：CN102760161A
公开(公告)日：2012-10-31
申请号：CN201210191566.8
申请日：2012-06-12
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议，可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片，每个日志片存放同一个事务的日志内容，每个日志片保留一份事务号及同事务的前项日志片指针，同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中，各事务只写自己的日志片，并在事务提交时将日志片写入日志文件。恢复时，通过扫描所有的日志片进行重做，以及回退所有活跃事务的日志片进行回退，使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题，并有效减少了系统日志量。
-
公开(公告)号：CN102004799A
公开(公告)日：2011-04-06
申请号：CN201010609540.1
申请日：2010-12-28
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库冗余数据一致性检验方法，包括如下步骤：数据库主服务器接收到用户操作请求后确认相关备份服务器；数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器；各备份服务器执行用户操作请求得到操作结果；各备份服务器计算操作结果的语义校验码；各备份服务器将操作结果和相应的语义校验码发送到校验服务器；校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器；数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性，能直接针对执行结果进行检验，有效地降低了需要进行检验操作的数据量，也降低小了检验操作的系统资源消耗。
-
公开(公告)号：CN103198159B
公开(公告)日：2016-01-06
申请号：CN201310153332.9
申请日：2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法，其特点是：包括查询执行阶段：集群事务管理模块跟踪活动事务表，录制事务操作；集群为主数据节点生成事务重做日志；集群将事务重做日志文件发送给所有副本数据节点并管理节点状态；副本维护阶段：副本数据节点接收来自于主数据节点的事务重做日志文件；故障恢复阶段：数据库管理员将查找出故障节点对应的存档日志，将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题，弥补了二进制日志传输方式无法支持异构数据库的不足，实现了多副本之间的快速一致性维护，保证无共享集群的高可用性，同时能够支持集群数据库节点的异构化。
-
公开(公告)号：CN102004799B
公开(公告)日：2012-10-03
申请号：CN201010609540.1
申请日：2010-12-28
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库冗余数据一致性检验方法，包括如下步骤：数据库主服务器接收到用户操作请求后确认相关备份服务器；数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器；各备份服务器执行用户操作请求得到操作结果；各备份服务器计算操作结果的语义校验码；各备份服务器将操作结果和相应的语义校验码发送到校验服务器；校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器；数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性，能直接针对执行结果进行检验，有效地降低了需要进行检验操作的数据量，也降低小了检验操作的系统资源消耗。
-
Patent Agency Ranking
公开(公告)号：CN102033938B
公开(公告)日：2012-06-06
申请号：CN201010597139.0
申请日：2010-12-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明方法是基用一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布，这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射，从而在第一维实现数据的分布负载均衡，在第二维实现集群的动态扩展。本发明使用了二级映射方法，既保留了集群中常用的hash分发方法的数据分布负载均衡特点，又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性，保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比，本发明不仅不需停止应用业务，而且操作简单，每扩展一个节点的时间在秒级。
-
公开(公告)号：CN102402617A
公开(公告)日：2012-04-04
申请号：CN201110436693.5
申请日：2011-12-23
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构，以及针对分片数据的稀疏哈希位图索引存储结构，稀疏哈希位图为对需索引数据的概要知识，也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询，大大减少对数据的磁盘读写次数，并且索引空间占用量极小，相对于B+树索引更适用于历史海量数据的查询，且基于此系统及方法能够方便的实现对数据库和索引的压缩存储，并能过滤分片压缩包从而极大减小压缩数据库的解码开销。
-
公开(公告)号：CN102063502A
公开(公告)日：2011-05-18
申请号：CN201110001385.X
申请日：2011-01-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种实现异构数据库数据同步的方法，其中异种数据库包括数据库A和数据库B，数据库A是用户应用所使用的数据库，数据库访问接口使用JDBC接口，数据库B是进行数据同步的目的数据库；还包括符合SUN规范的JDBC驱动AB，所述驱动AB包含A的JDBC驱动包和B的JDBC驱动包；对驱动AB上的函数调用都被原样传递给数据库A的JDBC驱动，而对数据库有更改的函数调用，则经过sql语法映射转换后，再传递给数据库B的JDBC驱动。
-
公开(公告)号：CN102750368B
公开(公告)日：2014-03-26
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
公开(公告)号：CN102323946B
公开(公告)日：2013-03-27
申请号：CN201110259524.9
申请日：2011-09-05
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种并行数据库中算子复用的实现方法，包括如下步骤：步骤1、使用普通的查询规划方法为查询生成串行的查询计划，所述查询计划是一个二叉树结构；步骤2、自顶向下扫描执行所述查询计划，寻找可复用的物化类算子，并更改查询计划结构，将线程级物化算子改为全局复用的物化算子；步骤3、对步骤2生成的更改后的查询计划进行并行化处理，生成用于多个线程并行执行的计划森林；步骤4、对步骤3生成的计划森林进行全局复用算子合并处理，生成用于可供多个线程并行执行且可复用物化算子的有向图计划；步骤5、各个线程并行执行所述有向图中的各自的计划部分，第一个执行到全局复用算子的线程称之为主线程，由主线程锁住该全局复用算子并真正执行该算子及其以下的计划，其他线程等待；步骤6、所述主线程执行完该算子之后解锁，其他线程开始从该全局复用算子中读取数据并继续各自的计划树；步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.035 seconds)
