一种基于物理级的数据库日志挖掘方法

    公开(公告)号:CN105677876B

    公开(公告)日:2018-04-03

    申请号:CN201610016313.5

    申请日:2016-01-12

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。

    一种数据库数据内容高速比对方法

    公开(公告)号:CN107145522A

    公开(公告)日:2017-09-08

    申请号:CN201710232612.7

    申请日:2017-04-11

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种数据库数据内容高速比对方法,包括获取数据库源表和目标表,分别对源表和目标表中的数据排序;获取源表中最小主键字段A和最大主键字段B,获取目标表中最小主键字段C和最大主键字段D;根据A、B、C、D的大小,定义若干个区间,根据各条数据主键字段的大小,对源表和目标表中的数据进行区间划分;比较同一区间内源表和目标表中的数据。通过该方法可以快速高效的比对两端数据差异,强化数据一致性检查手段,可以对数据复制过程中产生的不一致及时做出调整,对确保数据库的安全稳定的运行,具有重要的实际意义。

    一种基于物理级的数据库日志挖掘方法

    公开(公告)号:CN105677876A

    公开(公告)日:2016-06-15

    申请号:CN201610016313.5

    申请日:2016-01-12

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。

    一种数据库异构数据复制格式转换方法

    公开(公告)号:CN107122428A

    公开(公告)日:2017-09-01

    申请号:CN201710235459.3

    申请日:2017-04-12

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30569 G06F17/30575

    摘要: 本发明公开了一种数据库异构数据复制格式转换方法,包括对比源端和目标端的数据库数据字典,构造类型转换规则;获取待转换的数据;基于目标端的数据库数据字典,筛选出待转换数据中类型差异的表和表字段;根据类型转换规则,对筛选出的表和表字段进行相应的类型转换;根据目标端类型精度,对类型转换后的表和表字段进行精度最大化截取处理;类型转换后的数据合成目标端数据库可执行的语句。通过该方法不但可以有效解决异构数据复制格式转换,还能最大限度的保留原始数据的精确度,对确保数据库之间数据复制交换,具有重要的实际意义。

    一种关系数据库日志抽取方法

    公开(公告)号:CN107122424A

    公开(公告)日:2017-09-01

    申请号:CN201710224035.7

    申请日:2017-04-07

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种关系数据库日志抽取方法,包括获取数据库日志文件路径、日志文件存储格式;打开日志文件,读取数据块,获取数据块大小和数量,确定数据库版本信息;从当前数据块中读取日志记录信息;判断该条日志记录信息是否完整,如果不完整则继续从下一个数据块中读取,直到拼装成完整的日志记录信息;解析完整的日志记录信息,获取操作码,并根据操作码依次读取日志记录信息中的所有变化操作数据;检查变化操作数据是否为有效变化数据,如果不是则丢掉,读取下一个变化操作数据,如果有效则将其添加到数据结果集中,检查完所有变化操作数据,则一次数据抽取结束。本发明可以精确抽取出变化日志数据,同时不会影响数据库自身性能。

    一种数据库数据内容比对方法

    公开(公告)号:CN107145522B

    公开(公告)日:2019-12-31

    申请号:CN201710232612.7

    申请日:2017-04-11

    IPC分类号: G06F16/2455

    摘要: 本发明公开了一种数据库数据内容比对方法,包括获取数据库源表和目标表,分别对源表和目标表中的数据排序;获取源表中最小主键字段A和最大主键字段B,获取目标表中最小主键字段C和最大主键字段D;根据A、B、C、D的大小,定义若干个区间,根据各条数据主键字段的大小,对源表和目标表中的数据进行区间划分;比较同一区间内源表和目标表中的数据。通过该方法可以快速高效的比对两端数据差异,强化数据一致性检查手段,可以对数据复制过程中产生的不一致及时做出调整,对确保数据库的安全稳定的运行,具有重要的实际意义。