一种基于一致性散列的结构化数据存储、查询和迁移方法

    公开(公告)号:CN104077423A

    公开(公告)日:2014-10-01

    申请号:CN201410353123.3

    申请日:2014-07-23

    Inventor: 程杰 杨萌萌

    CPC classification number: G06F17/30194 G06F17/303 G06F17/30312

    Abstract: 本发明公开了一种基于一致性散列的结构化数据存储、查询和迁移方法,步骤如下:建立基于一致性散列的HDFS数据存储模型,基于此模型进行数据存储和数据查询,当有数据节点加入或失效时,实施数据迁移;所述数据存储方法是将待写入文件的各数据块进行一致性散列得到数据块Hash值,然后根据数据块Hash值,在节点Hash链中查找该数据块的存储节点并将数据块内容存入其存储节点。本发明基于HDFS集群主从结构,应用一致性散列,使结构化数据均匀分散在HDFS集群的各个数据节点上,有效地提高并行遍历数据的效率,当数据节点数量发生变化时,可大大减少数据迁移所涉及的节点数量和总迁移数据量,提高数据存储系统的运行性能。

    用于数据库的数据迁移装置和数据迁移方法

    公开(公告)号:CN104077401A

    公开(公告)日:2014-10-01

    申请号:CN201410318745.2

    申请日:2014-07-04

    Inventor: 刘新征

    CPC classification number: G06F17/303

    Abstract: 本发明提供了一种用于数据库的数据迁移装置和一种用于数据库的数据迁移方法,其中,所述用于数据库的数据迁移装置,包括:获取单元,用于获取源数据库和目标数据库的属性信息;迁移方案制定单元,用于根据所述获取单元获取到的所述源数据库和所述目标数据库的属性信息制定数据迁移方案;迁移方案修正单元,用于对数据迁移过程中的预设迁移阶段进行错误检查,以对所述迁移方案的配置参数进行修正。通过本发明的技术方案,使得数据库迁移工具能够支持向更多类型的异构数据库进行迁移数据,并且能够提高数据迁移的效率和数据迁移的正确性。

    数据比较系统
    53.
    发明授权

    公开(公告)号:CN101996361B

    公开(公告)日:2014-08-06

    申请号:CN201010238962.2

    申请日:2010-07-27

    Inventor: G·庞 A·休

    CPC classification number: G06F17/30557 G06F17/303 G06F17/30348 G06F17/30371

    Abstract: 描述了一种数据比较系统。该系统可以包括存储器、接口以及处理器。存储器可以存储:包含多个数据项配对的比较数据结构,每个配对包括遗留数据集的遗留数据项以及新数据集的对应新数据项;以及与每个数据项配对相关联的容许偏差。处理器可以接收比较数据结构以及相关联的容许偏差。如果数据项是字段,则处理器可以调用比较数据子例程以按照相关联的容许偏差来比较每个数据项配对。否则,处理器可以针对每个数据项的每个记录递归地调用比较数据子例程,直到数据项是字段。处理器继而可以按照相关联的容许偏差来比较数据项。

    一种海量数据迁移的方法及装置

    公开(公告)号:CN103914458A

    公开(公告)日:2014-07-09

    申请号:CN201210592673.1

    申请日:2012-12-29

    Inventor: 芦薇

    CPC classification number: G06F17/303

    Abstract: 本发明公开了一种海量数据迁移的方法及装置。所述方法包括以下步骤:创建迁移配置表;根据预设时间周期内所述海量数据是否发生变化判断迁移数据类型;根据所述迁移数据类型修改所述迁移配置表;根据所述迁移配置表迁移所述海量数据。本发明的技术方案能够大大减少数据迁移时间、业务中断时间以及对于数据库种类的要求。

    用于管理数据移植的方法和系统

    公开(公告)号:CN1790413A

    公开(公告)日:2006-06-21

    申请号:CN200510124660.1

    申请日:2005-11-14

    Abstract: 方法600在在线数据存储系统中执行数据移植任务。方法计算615移植实用性,移植实用性是为完成数据移植任务所花费的时间的函数和生成用于执行数据移植任务的移植请求,其中数据移植任务被划分成子任务以及对于每个子任务生成一个移植请求。方法600然后确定625用于执行移植实用性的移植截止期;和分配630奖励值给接收的客户存储请求,这些奖励值代表通过执行客户存储请求所生成的收益;和分配630奖励值给移植请求,这些奖励值代表通过执行数据移植任务所生成的收益以及是基于预期的客户存储请求的奖励分发、可用的存储容量、剩余的移植请求的数目、和移植实用性。方法630还这样地调度635移植请求和客户存储请求,以使得赢得的总的奖励最大化;以及执行640请求的调度表,以便执行数据移植任务。

    管理本机应用程序数据的系统和方法

    公开(公告)号:CN1656457A

    公开(公告)日:2005-08-17

    申请号:CN03811427.5

    申请日:2003-04-21

    Inventor: 李在涛

    Abstract: 公开了在遗留应用程序数据储存库和企业数据库之间迁移数据的方法和系统。一个例证系统包括遗留应用程序数据储存库(116A),企业数据库(354),按照企业应用程序兼容格式,从储存库(116A)输出数据的输出模块(312),和更新企业数据库(354),从而反映输出数据的检入模块(352)。例证系统还包括从企业数据库(354)抽取数据,把抽取的数据转换成企业应用程序兼容格式的检出模块(356),和更新储存库(116A),从而反映检出数据的输入模块(318)。

    多数据源的数据迁移方法
    58.
    发明公开

    公开(公告)号:CN107992559A

    公开(公告)日:2018-05-04

    申请号:CN201711224584.0

    申请日:2017-11-28

    CPC classification number: G06F17/303

    Abstract: 本发明公开了一种多数据源的数据迁移方法,该多数据源的数据迁移方法包括:获取迁移数据源与接收数据源的连接信息;创建迁移数据源的字段与接收数据源的字段之间的对应关系,以形成数据迁移配置;根据数据迁移配置将迁移数据源中的数据直接导入到接收数据源中。本发明的多数据源的数据迁移方法直接将迁移数据源与接收数据源之间建立连接,并且创建迁移数据源的字段与接收数据源的字段之间的对应关系,从而使迁移数据源中的数据能够直接导入至接收数据源中,不仅省略了备份文件,还能避免因备份文件与接收数据源不兼容而引起的数据导入失败。

    一种大数据快速备份的系统

    公开(公告)号:CN107844605A

    公开(公告)日:2018-03-27

    申请号:CN201711217170.5

    申请日:2017-11-28

    Inventor: 劳志军

    CPC classification number: G06F17/303 G06F11/1451 G06F17/30575

    Abstract: 本发明提供了一种大数据快速备份的系统,其包括数据迁移准备程序、数据导出程序、字段调整程序、数据迁移系统、数据导入程序和数据备份模块功能与系统,其无需要进行复杂的运算,也不必用到复杂的迁移工具,只需要用到常用的EXCEL表格和常见的关系型数据库,通过巧妙的操作实现了数据异步而产生的数据迁移问题,使用数据同步更简单、成本更低。

Patent Agency Ranking