一种分布式文件系统数据分布方法及装置

    公开(公告)号:CN106980647A

    公开(公告)日:2017-07-25

    申请号:CN201710106388.7

    申请日:2017-02-24

    Inventor: 李发明 张勤

    CPC classification number: G06F16/278 G06F16/182 G06F16/27

    Abstract: 本发明公开了一种分布式文件系统数据分布方法,包括:将文件进行对象化处理,得到该文件的对象文件;运用文件分布算法计算所述对象文件的对象ID;将对象文件通过对象ID映射至对应的对象存储列表,并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。本发明还公开了一种分布式文件系统数据分布装置。本发明实现了分布式文件存储容量、价格、扩容及硬件厂商的限制问题。

    用于并行数据库的数据查询方法和装置

    公开(公告)号:CN106250519A

    公开(公告)日:2016-12-21

    申请号:CN201610633323.3

    申请日:2016-08-04

    CPC classification number: G06F16/24556 G06F16/244 G06F16/2456 G06F16/278

    Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。

    一种分布式数据库存储架构系统

    公开(公告)号:CN105589937A

    公开(公告)日:2016-05-18

    申请号:CN201510921578.5

    申请日:2015-12-14

    Inventor: 韩学龙

    CPC classification number: G06F16/278

    Abstract: 本发明公开了一种分布式数据库存储架构系统,包括若干子数据库,所述子数据库与应用程序之间通过数据路由建立连接;所述子数据库是对数据进行水平切分后得到的。本发明的优点是:通过比较廉价的设备架构出具备高可用性和高扩展性的计算机集群中的数据库存储系统,集群扩展能力很强,几乎可以做到线性扩展,即使部分子数据库节点故障,也不会影响其他子数据库节点,数据读写效率也得到了提高,不因数据量而受影响。

    一种数据处理方法和装置

    公开(公告)号:CN104657388A

    公开(公告)日:2015-05-27

    申请号:CN201310597967.8

    申请日:2013-11-22

    Inventor: 吕春建

    CPC classification number: G06F16/278 G06F16/24535

    Abstract: 本申请涉及一种数据处理方法和装置。其中,该方法包括:扫描存储于数据库表中的一个或多个数据;基于扫描,对一个或多个数据中的重复数据进行计数,确定每个重复数据的计数值;根据每个重复数据和每个重复数据的计数值,计算与分析数据分布相关的结果。本申请的方法和装置基于重复数据,避免了对所有数据扫描,有效降低计算机IO,显著减少运算数据量,提高运算效率并缩短数据处理时间、减轻计算机运行的负担,并且,利用分位数区间快速的获得分位数降低了计算开销。由此,解决了提高计算机数据处理过程中的运算性能、提高计算效率的问题。

    一种数据表的导入方法、数据管理器以及服务器

    公开(公告)号:CN105264521B

    公开(公告)日:2018-10-30

    申请号:CN201480000196.2

    申请日:2014-02-18

    Inventor: 黄坚坚 王玉虎

    CPC classification number: G06F16/278 G06F16/258

    Abstract: 本发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i‑1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。

    一种数据表的分区管理方法及装置

    公开(公告)号:CN106716400A

    公开(公告)日:2017-05-24

    申请号:CN201580001180.8

    申请日:2015-06-26

    Inventor: 刘哲 沈柯 王铁英

    CPC classification number: G06F16/278 G06F16/221 G06F16/2282 G06F16/25

    Abstract: 一种数据表的分区管理方法及装置,包括:确定表组中每个数据表的类型以及关联键,所述数据表的类型包括一维维度表、多维维度表或事实表(S301);根据所述表组中每个所述数据表的类型,针对每个所述数据表中的关联键对每个所述数据表的行副本空间进行一维分区以及列副本空间进行一维或多维分区(S302)。针对不同类型以及不同维度的数据表采用不同的分区管理方法,从而在一个系统里高效的实现OLTP和OLAP的数据处理机制,节省了资源消耗。

Patent Agency Ranking