-
公开(公告)号:CN105677876B
公开(公告)日:2018-04-03
申请号:CN201610016313.5
申请日:2016-01-12
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网上海市电力公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。
-
公开(公告)号:CN107436938A
公开(公告)日:2017-12-05
申请号:CN201710622151.4
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F17/30
摘要: 本发明公开一种关系数据库前映像的附加日志解析方法:(1)获取数据库版本信息、解析前映像的change第四块中的KDO数据,提取其中的操作码;(2)根据不同的操作码采用不同的解析方式,获取附加日志数据块编号;(3)根据附加日志结构,获取附加日志内部的主键列数据;(4)将获取的主键列数据依次添加到改变列数据中。本发明可以依据主键精确定位变化数据的行号,同时不会影响数据库自身性能。
-
公开(公告)号:CN107145522A
公开(公告)日:2017-09-08
申请号:CN201710232612.7
申请日:2017-04-11
申请人: 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种数据库数据内容高速比对方法,包括获取数据库源表和目标表,分别对源表和目标表中的数据排序;获取源表中最小主键字段A和最大主键字段B,获取目标表中最小主键字段C和最大主键字段D;根据A、B、C、D的大小,定义若干个区间,根据各条数据主键字段的大小,对源表和目标表中的数据进行区间划分;比较同一区间内源表和目标表中的数据。通过该方法可以快速高效的比对两端数据差异,强化数据一致性检查手段,可以对数据复制过程中产生的不一致及时做出调整,对确保数据库的安全稳定的运行,具有重要的实际意义。
-
公开(公告)号:CN107038231A
公开(公告)日:2017-08-11
申请号:CN201710232312.9
申请日:2017-04-11
申请人: 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司
摘要: 本发明公开了一种数据库高并发事务合并方法,包括从事务池中批量获取待合并的事务;根据事务内部操作的时间顺序,对事务内部操作进行合并;根据事务提交顺序,对内部操作合并后的事务间的操作进行合并,并将合并后的事务依次提交事物库。本发明不但可以提高数据库入库效率,降低数据库性能影响,同时可以有效地提升数据复制延时,对确保数据库的安全稳定的运行,具有重要的实际意义。
-
公开(公告)号:CN105677876A
公开(公告)日:2016-06-15
申请号:CN201610016313.5
申请日:2016-01-12
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网上海市电力公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于物理级的数据库日志挖掘方法,包括以下几个步骤:(1)获取数据库系统数据块大小、在线日志全路径名、日志存储文件系统格式;(2)从数据库系统视图中获取当前日志组信息,获取操作信息;(3)挖掘日志文件头信息,从日志文件头中获取当前的日志序列;(4)挖掘日志文件头后的数据块,每次挖掘固定大小数据并记录当前挖掘的截止位置索引,将数据块内容写入新建的临时文件;(5)当遇到文件头的结束标志时,则在数据块临时文件写入结束标志,结束当前文件挖掘,开始下一日志文件挖掘。本发明可以从根本上实现挖掘出的日志信息与生产库的一致性与完整性,还能降低数据库日志挖掘对生产库的性能影响。
-
公开(公告)号:CN107391306B
公开(公告)日:2019-12-10
申请号:CN201710622124.7
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F11/14
摘要: 本发明公开了一种异构数据库备份文件恢复方法,包括:对异构源数据库中数据归一转化;采用K‑medoids聚类的DELTA压缩算法,对数据块进行聚类预处理,将相似度较高的数据块分为一类;利用DELTA压缩算法对同一类数据块进行压缩;基于“SQL重现法”对数据还原,根据配置文件读取还原端数据库版本,根据转化规则将元数据模型转化为对应版本数据库支持的SQL语句,进行数据一致性检测后导入数据库,实现异构数据库的稳定备份与恢复功能。本发明通过映射规则的扩充可支持多种源数据库,实现异构数据库的备份,并支持高效率的文件压缩,降低备份成本。
-
公开(公告)号:CN107391306A
公开(公告)日:2017-11-24
申请号:CN201710622124.7
申请日:2017-07-27
申请人: 国家电网公司 , 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司 , 国网江苏省电力公司电力科学研究院
IPC分类号: G06F11/14
摘要: 本发明公开了一种异构数据库备份文件恢复方法,包括:对异构源数据库中数据归一转化;采用K-medoids聚类的DELTA压缩算法,对数据块进行聚类预处理,将相似度较高的数据块分为一类;利用DELTA压缩算法对同一类数据块进行压缩;基于“SQL重现法”对数据还原,根据配置文件读取还原端数据库版本,根据转化规则将元数据模型转化为对应版本数据库支持的SQL语句,进行数据一致性检测后导入数据库,实现异构数据库的稳定备份与恢复功能。本发明通过映射规则的扩充可支持多种源数据库,实现异构数据库的备份,并支持高效率的文件压缩,降低备份成本。
-
公开(公告)号:CN107122428A
公开(公告)日:2017-09-01
申请号:CN201710235459.3
申请日:2017-04-12
申请人: 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30569 , G06F17/30575
摘要: 本发明公开了一种数据库异构数据复制格式转换方法,包括对比源端和目标端的数据库数据字典,构造类型转换规则;获取待转换的数据;基于目标端的数据库数据字典,筛选出待转换数据中类型差异的表和表字段;根据类型转换规则,对筛选出的表和表字段进行相应的类型转换;根据目标端类型精度,对类型转换后的表和表字段进行精度最大化截取处理;类型转换后的数据合成目标端数据库可执行的语句。通过该方法不但可以有效解决异构数据复制格式转换,还能最大限度的保留原始数据的精确度,对确保数据库之间数据复制交换,具有重要的实际意义。
-
公开(公告)号:CN107122424A
公开(公告)日:2017-09-01
申请号:CN201710224035.7
申请日:2017-04-07
申请人: 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种关系数据库日志抽取方法,包括获取数据库日志文件路径、日志文件存储格式;打开日志文件,读取数据块,获取数据块大小和数量,确定数据库版本信息;从当前数据块中读取日志记录信息;判断该条日志记录信息是否完整,如果不完整则继续从下一个数据块中读取,直到拼装成完整的日志记录信息;解析完整的日志记录信息,获取操作码,并根据操作码依次读取日志记录信息中的所有变化操作数据;检查变化操作数据是否为有效变化数据,如果不是则丢掉,读取下一个变化操作数据,如果有效则将其添加到数据结果集中,检查完所有变化操作数据,则一次数据抽取结束。本发明可以精确抽取出变化日志数据,同时不会影响数据库自身性能。
-
公开(公告)号:CN107145522B
公开(公告)日:2019-12-31
申请号:CN201710232612.7
申请日:2017-04-11
申请人: 南京南瑞集团公司 , 南京南瑞信息通信科技有限公司
IPC分类号: G06F16/2455
摘要: 本发明公开了一种数据库数据内容比对方法,包括获取数据库源表和目标表,分别对源表和目标表中的数据排序;获取源表中最小主键字段A和最大主键字段B,获取目标表中最小主键字段C和最大主键字段D;根据A、B、C、D的大小,定义若干个区间,根据各条数据主键字段的大小,对源表和目标表中的数据进行区间划分;比较同一区间内源表和目标表中的数据。通过该方法可以快速高效的比对两端数据差异,强化数据一致性检查手段,可以对数据复制过程中产生的不一致及时做出调整,对确保数据库的安全稳定的运行,具有重要的实际意义。
-
-
-
-
-
-
-
-
-