分布式数据系统数据节点的全局一致性备份和还原方法

    公开(公告)号:CN104750573B

    公开(公告)日:2017-10-24

    申请号:CN201410780380.5

    申请日:2014-12-17

    发明人: 周正中

    IPC分类号: G06F11/14 G06F17/30

    摘要: 一种分布式数据系统数据节点的全局一致性备份方法,包括如下步骤:创建ZFS文件系统;Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据,根据xlog数据得到Standby数据文件;为Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照,并存放在ZFS文件系统中。本发明还涉及一种全局一致性还原方法。

    一种分布式关系数据库自由扩展方法

    公开(公告)号:CN104572809A

    公开(公告)日:2015-04-29

    申请号:CN201410652026.4

    申请日:2014-11-17

    发明人: 周正中

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种分布式关系数据库自由扩展方法,属于数据库技术领域,该方法能自由的扩展数据库节点,能提升数据重分布效率的一种分布式关系数据库自由扩展方法。分别部署应用程序、数据库代理节点、若干个数据库节点和数据库代理节点,在数据库代理节点存入数据库代理节点的节点信息和各个数据库节点的节点信息;编写数值转换函数、路由算法和路由表,根据新的路由表包含的路由信息将数据分发到目标数据库节点中去;对于目标数据库节点中已有的数据库节点需要交换底层数据文件,然后删除源数据库节点中的底层数据文件,而对于目标数据库节点中新增的数据库节点则不需要操作;并直接删除源数据库节点中已经重新分布过的表。

    MonetDB分布式计算存储方法

    公开(公告)号:CN104536988A

    公开(公告)日:2015-04-22

    申请号:CN201410751853.9

    申请日:2014-12-10

    发明人: 周正中

    IPC分类号: G06F17/30 G06F9/50 H04L29/08

    CPC分类号: H04L67/1097 H04L67/104

    摘要: 本发明涉及一种MonetDB分布式计算存储方法。解决了不能实现MonetDB分布式计算存储,也无法解决数据路由算法和可用的问题,技术方案为:包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤。本发明同样可以应用在负载均衡场景和数据复制场景,还可以应用在大数据分布式存储的场景,并行计算场景,利用路由选择算法,将数据分布存储,实现线性的性能提升。

    PostgreSQL大数据高效免维护自动分区方法

    公开(公告)号:CN104503966B

    公开(公告)日:2017-12-12

    申请号:CN201410550641.4

    申请日:2014-10-16

    发明人: 周正中

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种PostgreSQL大数据高效免维护自动分区方法,属于数据库大数据处理技术领域,创建入口表,将分区值抽象转换为一个随时间推移的固定循环值;根据固定的循环值创建固定的分区逻辑;创建根据入口表的分区逻辑代码和字段值分发的分区继承表;把活动分区从分区逻辑中剥离,让活动分区随着时间的推移进行自动创建;利用继承特性将固定分区的数据定时的转移到活动分区,并在转移完成后删除固定分区中的数据;根据数据量进行分裂设计,预先定义好分层和数据量对应规则,当活动分区表数据量超过上限阈值则自动往下一层分裂;根据分区继承表的异步主动活动的数据转移逻辑来创建异步继承表。

    MonetDB分布式计算存储方法

    公开(公告)号:CN104536988B

    公开(公告)日:2017-10-24

    申请号:CN201410751853.9

    申请日:2014-12-10

    发明人: 周正中

    IPC分类号: G06F17/30 G06F9/50 H04L29/08

    摘要: 本发明涉及一种MonetDB分布式计算存储方法。解决了不能实现MonetDB分布式计算存储,也无法解决数据路由算法和可用的问题,技术方案为:包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m‑funnel节点以及HA部署步骤和分布式计算存储的部署步骤。本发明同样可以应用在负载均衡场景和数据复制场景,还可以应用在大数据分布式存储的场景,并行计算场景,利用路由选择算法,将数据分布存储,实现线性的性能提升。

    一种基于云平台的关系数据库自动优化方法

    公开(公告)号:CN104503974B

    公开(公告)日:2017-07-18

    申请号:CN201410652028.3

    申请日:2014-11-17

    发明人: 周正中

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于云平台的关系数据库自动优化方法,属于云平台数据库优化技术领域,该方法能定时收集数据库运行状态信息,以及数据库所在虚拟机的硬件指标信息,适时的主动优化建议、被动优化建议或自动被动优化,提高数据库在云平台中运行性能稳定性。根据数据库编码协定编辑workprocess进程所需的workprocess进程插件代码,在数据库源代码目录的contrib目录下新建一个项目目录,将所述workprocess进程插件代码拷贝安装到项目目录内;在数据库中创建workprocess进程插件;配置数据库配置文件postgresql.conf,加载workprocess进程对应的动态链接库文件;数据库启动时,调用_PG_init钩子程序和调用workprocess进程入口函数来启动workprocess进程;能输出主动优化建议、输出被动优化建议和输出自动被动优化。

    PostgreSQL高并发流式大数据多维度准实时统计的方法

    公开(公告)号:CN104166666B

    公开(公告)日:2017-03-08

    申请号:CN201410207285.6

    申请日:2014-05-15

    发明人: 周正中

    IPC分类号: G06F17/30 G06Q10/06

    摘要: 本发明涉及PostgreSQL高并发流式大数据多维度准实时统计的方法。其技术方案要点是:创建流水表增量状态表、统计函数、函数增量状态表和分析函数,对流水表增量状态表函数增量状态表进行初始化;计算分析函数取数的次数,以整数方式记录,作为统计次数数据,分析函数工作,进入子步骤,计算机根据统计函数得出的流水统计数据输出含有多维度准实时统计数据的统计维度表。本发明节约硬件投入至少100倍,实时时效控制在1分钟以内。

    PostgreSQL高弹性的高可用及负载均衡实现方法

    公开(公告)号:CN104503965A

    公开(公告)日:2015-04-08

    申请号:CN201410548447.2

    申请日:2014-10-16

    发明人: 周正中

    IPC分类号: G06F17/30 H04L29/08

    CPC分类号: G06F16/27 H04L67/1002

    摘要: 本发明公开了一种PostgreSQL高弹性的高可用及负载均衡实现方法。属于数据库技术领域,该方法实现了数据库层面完全无单点故障的风险.并且在连接层面使用会话保持来解决应用感知的问题,还实现了对应用完全透明的高可用failover。连接池和应用程序建立的TCP连接不受FAILOVBR影响,因此这个会话不会中断。连接池和数据库的连接断开后自动连接。业务层在切换期间的会话自动回滚。在连接池或驱动层配置好多个对应的后端数据库连接,根据配置的算法,数据插入的SQL自动分发到后端数据库以实现负载均衡。当后端数据库无响应时,自动分发到下一个候选连接,以实现fajlover。

    一种基于云平台的关系数据库自动优化方法

    公开(公告)号:CN104503974A

    公开(公告)日:2015-04-08

    申请号:CN201410652028.3

    申请日:2014-11-17

    发明人: 周正中

    IPC分类号: G06F17/30

    CPC分类号: G06F16/217

    摘要: 本发明公开了一种基于云平台的关系数据库自动优化方法,属于云平台数据库优化技术领域,该方法能定时收集数据库运行状态信息,以及数据库所在虚拟机的硬件指标信息,适时的主动优化建议、被动优化建议或自动被动优化,提高数据库在云平台中运行性能稳定性。根据数据库编码协定编辑workprocess进程所需的workprocess进程插件代码,在数据库源代码目录的contrib目录下新建一个项目目录,将所述workprocess进程插件代码拷贝安装到项目目录内;在数据库中创建workprocess进程插件;配置数据库配置文件postgresql.conf,加载workprocess进程对应的动态链接库文件;数据库启动时,调用_PG_init钩子程序和调用workprocess进程入口函数来启动workprocess进程;能输出主动优化建议、输出被动优化建议和输出自动被动优化。

    PostgreSQL快速恢复到任意时间点的方法

    公开(公告)号:CN104503865A

    公开(公告)日:2015-04-08

    申请号:CN201410754052.8

    申请日:2014-12-10

    发明人: 周正中

    IPC分类号: G06F11/14 G06F17/30

    摘要: 本发明涉及一种PostgreSQL快速恢复到任意时间点的方法。解决了现有技术不能实时快速备份的问题,技术方案为:包括XLOG归档文件存储步骤,生产数据库实施步骤、数据文件备份存储步骤、数据库STANDBY步骤和监控的步骤。1、利用流复制来备份,解决数据文件备份时产生的大量读的问题。因此数据文件备份不需要读数据库文件,而只需要读xlog或xlog的归档文件。2、利用文件块级别的增量备份来解决数据文件重复备份的带来的数据文件备份容量需求的问题,快照不会产生重复数据,因此非常节约空间。3、利用文件系统克隆技术,将备份集克隆,克隆只产生增量数据,因此解决数据还原的额外容量需求,而且原有备份集还能继续使用。