数据库冗余数据一致性检验方法

    公开(公告)号:CN102004799B

    公开(公告)日:2012-10-03

    申请号:CN201010609540.1

    申请日:2010-12-28

    Abstract: 本发明涉及一种数据库冗余数据一致性检验方法,包括如下步骤:数据库主服务器接收到用户操作请求后确认相关备份服务器;数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器;各备份服务器执行用户操作请求得到操作结果;各备份服务器计算操作结果的语义校验码;各备份服务器将操作结果和相应的语义校验码发送到校验服务器;校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器;数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性,能直接针对执行结果进行检验,有效地降低了需要进行检验操作的数据量,也降低小了检验操作的系统资源消耗。

    基于二级映射的集群动态扩展方法

    公开(公告)号:CN102033938B

    公开(公告)日:2012-06-06

    申请号:CN201010597139.0

    申请日:2010-12-10

    Abstract: 本发明方法是基用一种二级映射的方法来实现满足负载均衡的动态扩展技术。即首先在第一维对集群的数据按照hash方法进行负载的均衡分布,这是第一级映射。在第一维的基础上采用一个M:N的映射表来进行第二级的映射,从而在第一维实现数据的分布负载均衡,在第二维实现集群的动态扩展。本发明使用了二级映射方法,既保留了集群中常用的hash分发方法的数据分布负载均衡特点,又支持了动态扩展的需要。同时利用了元数据库的事务特性保证了对二级映射表更新时的读写隔离性,保证了扩展的动态在线。和静态扩展技术动辄需要停机几分钟相比,本发明不仅不需停止应用业务,而且操作简单,每扩展一个节点的时间在秒级。

    一种数据库集群数据高速导入方法

    公开(公告)号:CN102750368B

    公开(公告)日:2014-03-26

    申请号:CN201210200158.4

    申请日:2012-06-18

    Abstract: 本发明涉及一种数据库集群数据高速导入方法,其技术特点是:包括以下步骤:步骤1:数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息;步骤2:数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接;步骤3:数据导入驱动组件向相关数据库节点进行数据导入,交互控制模块接收数据导入结果,并更新目标表的相关统计信息。本发明的数据导入驱动组件,解放了控制节点,实现在尽可能少受数据库集群干预的情况下完成数据的导入;同时,采用独立数据导入的方式,可以方便的通过增加客户端来实现并行导入,提升导入性能,从而满足企业对数据高速导入的要求。

    并行数据库中算子复用的实现方法

    公开(公告)号:CN102323946B

    公开(公告)日:2013-03-27

    申请号:CN201110259524.9

    申请日:2011-09-05

    Abstract: 一种并行数据库中算子复用的实现方法,包括如下步骤:步骤1、使用普通的查询规划方法为查询生成串行的查询计划,所述查询计划是一个二叉树结构;步骤2、自顶向下扫描执行所述查询计划,寻找可复用的物化类算子,并更改查询计划结构,将线程级物化算子改为全局复用的物化算子;步骤3、对步骤2生成的更改后的查询计划进行并行化处理,生成用于多个线程并行执行的计划森林;步骤4、对步骤3生成的计划森林进行全局复用算子合并处理,生成用于可供多个线程并行执行且可复用物化算子的有向图计划;步骤5、各个线程并行执行所述有向图中的各自的计划部分,第一个执行到全局复用算子的线程称之为主线程,由主线程锁住该全局复用算子并真正执行该算子及其以下的计划,其他线程等待;步骤6、所述主线程执行完该算子之后解锁,其他线程开始从该全局复用算子中读取数据并继续各自的计划树;步骤7、所述主线程等待所有的计划都读取完毕全局复用算子的数据之后释放该算子物化的数据。

    基于任务驱动和双缓冲机制的并行排序方法

    公开(公告)号:CN102968496A

    公开(公告)日:2013-03-13

    申请号:CN201210510033.1

    申请日:2012-12-04

    Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法,其主要技术特点是:包括步骤1:分块内存排序步骤:将外存文件划分成一定大小的微小桶并读入内存,每读入一个微小桶就对其进行快速排序,当没有更多内存可用或者没有更多数据时,对所有微小桶进行内存归并,然后写出到外存中,形成一个有序的桶;步骤2:外存归并步骤:对外存中的桶进行归并,并将归并结果输出到最终有序的文件中,生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能,简化了并发控制的机制,加快了处理速度,增加了大数据量排序算法的可扩展性。

    数据库子串过滤索引系统及其构建、查询方法

    公开(公告)号:CN102831146A

    公开(公告)日:2012-12-19

    申请号:CN201210202879.9

    申请日:2012-06-19

    Abstract: 本发明涉及一种数据库子串过滤索引系统及其构建、查询方法,其技术特点是:该子串过滤索引系统包括将导入数据进行分片数据存储并从每个分片数据中提取出描述分片数据的子串特征构建一个或多个子串特征过滤位图的分片式数据存储模块,以及用于存储以子串特征过滤位图为子串特征索引的过滤索引存储模块,还包括该子串过滤索引系统的构建和查询方法。本发明设计合理,解决了传统索引空间占用大、压缩数据难以索引的的问题,实现了对海量文本数据高效的子串、关键字查询功能,大大减少了对数据的磁盘读写次数,提升了数据库的全表扫描性能。

    一种多版本数据库存储引擎系统及其相关处理的实现方法

    公开(公告)号:CN102750376A

    公开(公告)日:2012-10-24

    申请号:CN201210209343.X

    申请日:2012-06-25

    Abstract: 本发明公开一种用于海量存储查询专用数据库的多版本存储引擎系统及其相关处理的实现方法。所述存储引擎系统包括:数据存储模块,用于存储压缩数据包;索引模块,用于存储和处理知识网格索引;数据缓存模块,用于存储插入数据;和修改存储区模块,用于存储事务对数据包的修改记录;其特征在于:将数据分块压缩成数据包存储,将数据的版本信息和修改记录存储在一个修改存储区中。这些模块构成了这个多版本存储引擎的整体框架,在这个框架的基础上本发明设计和实现了一系列查询处理和版本信息处理相关的关键算法,从而实现了多版本控制技术。通过这个多版本存储引擎,本发明使得该数据库支持了多版本操作,显著地提高了数据库系统的并发度,实现了数据库系统性能的极大提升。

    一种数据库集群数据高速导入方法

    公开(公告)号:CN102750368A

    公开(公告)日:2012-10-24

    申请号:CN201210200158.4

    申请日:2012-06-18

    Abstract: 本发明涉及一种数据库集群数据高速导入方法,其技术特点是:包括以下步骤:步骤1:数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息;步骤2:数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接;步骤3:数据导入驱动组件向相关数据库节点进行数据导入,交互控制模块接收数据导入结果,并更新目标表的相关统计信息。本发明的数据导入驱动组件,解放了控制节点,实现在尽可能少受数据库集群干预的情况下完成数据的导入;同时,采用独立数据导入的方式,可以方便的通过增加客户端来实现并行导入,提升导入性能,从而满足企业对数据高速导入的要求。

Patent Agency Ranking