数据库集群的并行压缩海量数据装载方法

    公开(公告)号:CN102981857A

    公开(公告)日:2013-03-20

    申请号:CN201210514328.6

    申请日:2012-12-04

    Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法,其主要技术特点是:包括步骤1:建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构;步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令,获取各个数据库节点的连接信息后,连接各个数据库并且发送需要装载的数据;数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息;数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法,充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中,提升了数据库集群的搭建速度。

    一种基于事务聚集的日志组织结构及实现其相应的恢复协议的方法

    公开(公告)号:CN102760161A

    公开(公告)日:2012-10-31

    申请号:CN201210191566.8

    申请日:2012-06-12

    Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议,可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片,每个日志片存放同一个事务的日志内容,每个日志片保留一份事务号及同事务的前项日志片指针,同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中,各事务只写自己的日志片,并在事务提交时将日志片写入日志文件。恢复时,通过扫描所有的日志片进行重做,以及回退所有活跃事务的日志片进行回退,使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题,并有效减少了系统日志量。

    数据库冗余数据一致性检验方法

    公开(公告)号:CN102004799A

    公开(公告)日:2011-04-06

    申请号:CN201010609540.1

    申请日:2010-12-28

    Abstract: 本发明涉及一种数据库冗余数据一致性检验方法,包括如下步骤:数据库主服务器接收到用户操作请求后确认相关备份服务器;数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器;各备份服务器执行用户操作请求得到操作结果;各备份服务器计算操作结果的语义校验码;各备份服务器将操作结果和相应的语义校验码发送到校验服务器;校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器;数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性,能直接针对执行结果进行检验,有效地降低了需要进行检验操作的数据量,也降低小了检验操作的系统资源消耗。

    一种基于文件的数据库同步方法

    公开(公告)号:CN102752372A

    公开(公告)日:2012-10-24

    申请号:CN201210199980.3

    申请日:2012-06-18

    Abstract: 本发明涉及一种基于文件的数据库同步方法,其主要技术特点是:采用在源端数据库安装数据同步工具组件,并且在目标端数据库安装ETL服务组件,ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。本发明设计合理,以文件方式快速地从源端数据库向目标端数据库进行数据库同步,能高效地保存所要同步的数据库数据,并且在异构数据库和操作系统环境中,均能解析文件进行数据的同步操作,从而支持向多种异构数据库进行同步的特性,同时,采用全量同步和增量同步方法,提高了数据库同步效率。

    基于数据库行列混合存储的多规则复合压缩方法

    公开(公告)号:CN102737132A

    公开(公告)日:2012-10-17

    申请号:CN201210209362.2

    申请日:2012-06-25

    Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈,提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式,既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法,尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则,结合后端的通用压缩算法,能够高效的为上层数据库应用提供多级别的复合压缩功能,并保证在指定压缩率条件下最大化编解码速度。

    一种基于行存数据库引擎的列存方法

    公开(公告)号:CN102495905A

    公开(公告)日:2012-06-13

    申请号:CN201110436691.6

    申请日:2011-12-23

    Abstract: 本发明公开一种基于行存数据库引擎的列存方法,包括:行存储数据库,并基于所述行数据库进行如下操作:创建压缩表,并指定相应的压缩级别;将CSV格式的数据文件导入到所创建的压缩表中,其特征在于;压缩表对外表现为一个普通的数据表,可以支持通常的DML/DDL操作;对内实现为一个主HOT数据段及一个从LOB大对象段,其中主HOT段用于存储内部定义的属性行,从LOB段用于存储压缩方法控制结构及压缩后的数据内容;压缩表支持各种查询语句,查询时虽然需要将行中所有字段读入内存,但只解压与查询相关的列数据;所述压缩表支持更新操作,且更新时仅解压代更新的列;所述压缩表支持快速删除,仅做删除标记,当从行中没有记录时,主行会被自动删除;和删除压缩表。本发明通过行存数据库技术,在不改变存储引擎物理结果的前提下,实现了按列压缩存储的技术,并达到了列存数据库高压缩比的效果。

    神通数据库的包机制的实现方法

    公开(公告)号:CN102054050A

    公开(公告)日:2011-05-11

    申请号:CN201110033362.7

    申请日:2011-01-30

    Abstract: 本发明涉及一种神通数据库的包机制的实现方法,包括包的创建方法、包的执行方法、包的编译方法和包的删除方法,通过包的创建、包的执行、包的编译和包的删除处理对包的系统表、包管理器和包实例进行管理,从而在神通数据库上实现包机制的功能。本发明实现了神通数据库与基于Oracle开发的应用程序的无缝对接功能,通过将复杂的应用逻辑转化为神通数据库服务器上的包,可以大大减少网络上数据的传输,降低应用开发的工作量,提高了神通数据库的执行效率。

Patent Agency Ranking