一种数据处理方法及装置

    公开(公告)号:CN105378665B

    公开(公告)日:2019-02-12

    申请号:CN201480037525.0

    申请日:2014-06-09

    IPC分类号: G06F16/2453 G06F16/2455

    摘要: 提供一种数据处理方法及装置。其中,数据处理包括:根据数据库执行计划,确定当前空闲可编程内存对应的分区数目;根据所述分区数目,对所述当前空闲可编程内存进行分区,获得对应所述分区数目的可编程内存分区;利用所述可编程内存分区执行所述数据库执行计划对应的关系代数逻辑运算。通过本发明实施例,能够提高数据处理效率。

    一种分布式数据存储方法、装置和系统

    公开(公告)号:CN104809129B

    公开(公告)日:2018-07-20

    申请号:CN201410038922.1

    申请日:2014-01-26

    发明人: 王玉虎

    IPC分类号: G06F17/30

    摘要: 本实施例提供的分布式数据存储方法、装置和系统,第一节点接收到携带查询标识的查询请求后,如果该查询标识对应的第一数据存储在本地而第二数据没有存储在本地,则第一节点根据查询标识按照预设计算规则重新计算用于存储第一数据的第二节点,但无需将第一数据发送至第二节点,而是将第一数据的存储位置信息发送给第二节点,第二节点在接收到查询第一数据的请求后再根据存储位置信息从第一节点获取第一数据,如果后续未接收到查询第一数据的请求,则不触发第二节点从第一节点获取第一数据的操作。实现节省网络数据传输资源和存储空间。

    一种数据处理方法及装置

    公开(公告)号:CN105378665A

    公开(公告)日:2016-03-02

    申请号:CN201480037525.0

    申请日:2014-06-09

    IPC分类号: G06F9/445

    摘要: 提供一种数据处理方法及装置。其中,数据处理包括:根据数据库执行计划,确定当前空闲可编程内存对应的分区数目;根据所述分区数目,对所述当前空闲可编程内存进行分区,获得对应所述分区数目的可编程内存分区;利用所述可编程内存分区执行所述数据库执行计划对应的关系代数逻辑运算。通过本发明实施例,能够提高数据处理效率。

    一种数据分区方法和设备

    公开(公告)号:CN105517644B

    公开(公告)日:2020-04-21

    申请号:CN201480000188.8

    申请日:2014-03-05

    IPC分类号: G06F16/27 G06F16/28

    摘要: 本发明实施例提供一种数据分区方法和设备,涉及数据库领域,能够消除远程join操作,减少数据查询过程中的网络带宽,同时创造备份数据。其方法为:通过将分布式数据库中的维表进行数据分区,根据所述维表的分区特征并按照预设算法建立分区映射表,将所述维表对应的事实表按照所述分区映射表进行分区,并按照所述分区映射表备份所述事实表中的数据,这样在分区的时候,通过预设的算法使得分区时记录出现冲突,利用冲突造成冗余记录,用于数据备份。本发明实施例用于分布式数据库的数据分区。

    一种数据表的导入方法、数据管理器以及服务器

    公开(公告)号:CN105264521B

    公开(公告)日:2018-10-30

    申请号:CN201480000196.2

    申请日:2014-02-18

    发明人: 黄坚坚 王玉虎

    IPC分类号: G06F17/30

    CPC分类号: G06F16/278 G06F16/258

    摘要: 本发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i‑1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。

    一种数据表的导入方法、数据管理器以及服务器

    公开(公告)号:CN105264521A

    公开(公告)日:2016-01-20

    申请号:CN201480000196.2

    申请日:2014-02-18

    发明人: 黄坚坚 王玉虎

    IPC分类号: G06F17/30

    CPC分类号: G06F16/278 G06F16/258

    摘要: 本发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i-1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。

    一种数据分区方法和设备

    公开(公告)号:CN105517644A

    公开(公告)日:2016-04-20

    申请号:CN201480000188.8

    申请日:2014-03-05

    IPC分类号: A99Z99/00

    摘要: 本发明实施例提供一种数据分区方法和设备,涉及数据库领域,能够消除远程join操作,减少数据查询过程中的网络带宽,同时创造备份数据。其方法为:通过将分布式数据库中的维表进行数据分区,根据所述维表的分区特征并按照预设算法建立分区映射表,将所述维表对应的事实表按照所述分区映射表进行分区,并按照所述分区映射表备份所述事实表中的数据,这样在分区的时候,通过预设的算法使得分区时记录出现冲突,利用冲突造成冗余记录,用于数据备份。本发明实施例用于分布式数据库的数据分区。

    一种分布式数据存储方法、装置和系统

    公开(公告)号:CN104809129A

    公开(公告)日:2015-07-29

    申请号:CN201410038922.1

    申请日:2014-01-26

    发明人: 王玉虎

    IPC分类号: G06F17/30

    摘要: 本实施例提供的分布式数据存储方法、装置和系统,第一节点接收到携带查询标识的查询请求后,如果该查询标识对应的第一数据存储在本地而第二数据没有存储在本地,则第一节点根据查询标识按照预设计算规则重新计算用于存储第一数据的第二节点,但无需将第一数据发送至第二节点,而是将第一数据的存储位置信息发送给第二节点,第二节点在接收到查询第一数据的请求后再根据存储位置信息从第一节点获取第一数据,如果后续未接收到查询第一数据的请求,则不触发第二节点从第一节点获取第一数据的操作。实现节省网络数据传输资源和存储空间。