-
公开(公告)号:CN104077423A
公开(公告)日:2014-10-01
申请号:CN201410353123.3
申请日:2014-07-23
Applicant: 山东大学(威海)
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/303 , G06F17/30312
Abstract: 本发明公开了一种基于一致性散列的结构化数据存储、查询和迁移方法,步骤如下:建立基于一致性散列的HDFS数据存储模型,基于此模型进行数据存储和数据查询,当有数据节点加入或失效时,实施数据迁移;所述数据存储方法是将待写入文件的各数据块进行一致性散列得到数据块Hash值,然后根据数据块Hash值,在节点Hash链中查找该数据块的存储节点并将数据块内容存入其存储节点。本发明基于HDFS集群主从结构,应用一致性散列,使结构化数据均匀分散在HDFS集群的各个数据节点上,有效地提高并行遍历数据的效率,当数据节点数量发生变化时,可大大减少数据迁移所涉及的节点数量和总迁移数据量,提高数据存储系统的运行性能。
-
公开(公告)号:CN104077401A
公开(公告)日:2014-10-01
申请号:CN201410318745.2
申请日:2014-07-04
Applicant: 用友软件股份有限公司
Inventor: 刘新征
IPC: G06F17/30
CPC classification number: G06F17/303
Abstract: 本发明提供了一种用于数据库的数据迁移装置和一种用于数据库的数据迁移方法,其中,所述用于数据库的数据迁移装置,包括:获取单元,用于获取源数据库和目标数据库的属性信息;迁移方案制定单元,用于根据所述获取单元获取到的所述源数据库和所述目标数据库的属性信息制定数据迁移方案;迁移方案修正单元,用于对数据迁移过程中的预设迁移阶段进行错误检查,以对所述迁移方案的配置参数进行修正。通过本发明的技术方案,使得数据库迁移工具能够支持向更多类型的异构数据库进行迁移数据,并且能够提高数据迁移的效率和数据迁移的正确性。
-
公开(公告)号:CN101996361B
公开(公告)日:2014-08-06
申请号:CN201010238962.2
申请日:2010-07-27
Applicant: 埃森哲环球服务有限公司
IPC: G06F17/00
CPC classification number: G06F17/30557 , G06F17/303 , G06F17/30348 , G06F17/30371
Abstract: 描述了一种数据比较系统。该系统可以包括存储器、接口以及处理器。存储器可以存储:包含多个数据项配对的比较数据结构,每个配对包括遗留数据集的遗留数据项以及新数据集的对应新数据项;以及与每个数据项配对相关联的容许偏差。处理器可以接收比较数据结构以及相关联的容许偏差。如果数据项是字段,则处理器可以调用比较数据子例程以按照相关联的容许偏差来比较每个数据项配对。否则,处理器可以针对每个数据项的每个记录递归地调用比较数据子例程,直到数据项是字段。处理器继而可以按照相关联的容许偏差来比较数据项。
-
公开(公告)号:CN103914458A
公开(公告)日:2014-07-09
申请号:CN201210592673.1
申请日:2012-12-29
Applicant: 中国移动通信集团河北有限公司
Inventor: 芦薇
IPC: G06F17/30
CPC classification number: G06F17/303
Abstract: 本发明公开了一种海量数据迁移的方法及装置。所述方法包括以下步骤:创建迁移配置表;根据预设时间周期内所述海量数据是否发生变化判断迁移数据类型;根据所述迁移数据类型修改所述迁移配置表;根据所述迁移配置表迁移所述海量数据。本发明的技术方案能够大大减少数据迁移时间、业务中断时间以及对于数据库种类的要求。
-
公开(公告)号:CN103810256A
公开(公告)日:2014-05-21
申请号:CN201410034358.6
申请日:2014-01-24
Applicant: 武汉虹翼信息有限公司
IPC: G06F17/30
CPC classification number: G06F17/303 , G06F17/30569
Abstract: 本发明公开了一种基于分区技术在大数据网优平台中快速分发数据的方法,该方法包括:A、转移数据分区计算的步骤;B、生成转移对象分区的步骤;C、进行分区过滤的步骤;D、远程导出数据的步骤;E、并行SQLLDR数据导入的步骤。采用本发明方法,解决现有网优数据转移过程中存在的数据查询时间长、数据写入慢,以及需要人力干预的不足。
-
公开(公告)号:CN1790413A
公开(公告)日:2006-06-21
申请号:CN200510124660.1
申请日:2005-11-14
Applicant: 国际商业机器公司
Inventor: 克斯图维·达斯古普塔 , 罗赫特·杰安 , 尤彭德拉·沙玛 , 阿克斯哈特·沃玛
IPC: G06Q30/00
CPC classification number: G06F3/0659 , G06F3/0605 , G06F3/0613 , G06F3/0647 , G06F3/067 , G06F17/303
Abstract: 方法600在在线数据存储系统中执行数据移植任务。方法计算615移植实用性,移植实用性是为完成数据移植任务所花费的时间的函数和生成用于执行数据移植任务的移植请求,其中数据移植任务被划分成子任务以及对于每个子任务生成一个移植请求。方法600然后确定625用于执行移植实用性的移植截止期;和分配630奖励值给接收的客户存储请求,这些奖励值代表通过执行客户存储请求所生成的收益;和分配630奖励值给移植请求,这些奖励值代表通过执行数据移植任务所生成的收益以及是基于预期的客户存储请求的奖励分发、可用的存储容量、剩余的移植请求的数目、和移植实用性。方法630还这样地调度635移植请求和客户存储请求,以使得赢得的总的奖励最大化;以及执行640请求的调度表,以便执行数据移植任务。
-
公开(公告)号:CN1656457A
公开(公告)日:2005-08-17
申请号:CN03811427.5
申请日:2003-04-21
Applicant: 计算机联合思想公司
Inventor: 李在涛
IPC: G06F13/00
CPC classification number: G06F17/303 , G06F17/30569 , Y10S707/99931 , Y10S707/99943
Abstract: 公开了在遗留应用程序数据储存库和企业数据库之间迁移数据的方法和系统。一个例证系统包括遗留应用程序数据储存库(116A),企业数据库(354),按照企业应用程序兼容格式,从储存库(116A)输出数据的输出模块(312),和更新企业数据库(354),从而反映输出数据的检入模块(352)。例证系统还包括从企业数据库(354)抽取数据,把抽取的数据转换成企业应用程序兼容格式的检出模块(356),和更新储存库(116A),从而反映检出数据的输入模块(318)。
-
公开(公告)号:CN107992559A
公开(公告)日:2018-05-04
申请号:CN201711224584.0
申请日:2017-11-28
Applicant: 江苏中威科技软件系统有限公司
IPC: G06F17/30
CPC classification number: G06F17/303
Abstract: 本发明公开了一种多数据源的数据迁移方法,该多数据源的数据迁移方法包括:获取迁移数据源与接收数据源的连接信息;创建迁移数据源的字段与接收数据源的字段之间的对应关系,以形成数据迁移配置;根据数据迁移配置将迁移数据源中的数据直接导入到接收数据源中。本发明的多数据源的数据迁移方法直接将迁移数据源与接收数据源之间建立连接,并且创建迁移数据源的字段与接收数据源的字段之间的对应关系,从而使迁移数据源中的数据能够直接导入至接收数据源中,不仅省略了备份文件,还能避免因备份文件与接收数据源不兼容而引起的数据导入失败。
-
公开(公告)号:CN107943889A
公开(公告)日:2018-04-20
申请号:CN201711136718.3
申请日:2017-11-16
Applicant: 郑州云海信息技术有限公司
Inventor: 范红飞
IPC: G06F17/30
CPC classification number: G06F17/303 , G06F17/30595
Abstract: 本发明涉及数据库技术,特别涉及一种数据库间的迁移方法及系统。首先,将第一数据库迁移到第二数据库,其次,将第二数据库迁移到第三数据库。迁移过程中主要是图形化操作过程,操作步骤简单明了,简化了迁移步骤。
-
公开(公告)号:CN107844605A
公开(公告)日:2018-03-27
申请号:CN201711217170.5
申请日:2017-11-28
Applicant: 清远市云商科技有限公司
Inventor: 劳志军
CPC classification number: G06F17/303 , G06F11/1451 , G06F17/30575
Abstract: 本发明提供了一种大数据快速备份的系统,其包括数据迁移准备程序、数据导出程序、字段调整程序、数据迁移系统、数据导入程序和数据备份模块功能与系统,其无需要进行复杂的运算,也不必用到复杂的迁移工具,只需要用到常用的EXCEL表格和常见的关系型数据库,通过巧妙的操作实现了数据异步而产生的数据迁移问题,使用数据同步更简单、成本更低。
-
-
-
-
-
-
-
-
-