-
公开(公告)号:CN106980647A
公开(公告)日:2017-07-25
申请号:CN201710106388.7
申请日:2017-02-24
Applicant: 深圳市中博睿存信息技术有限公司
IPC: G06F17/30
CPC classification number: G06F16/278 , G06F16/182 , G06F16/27
Abstract: 本发明公开了一种分布式文件系统数据分布方法,包括:将文件进行对象化处理,得到该文件的对象文件;运用文件分布算法计算所述对象文件的对象ID;将对象文件通过对象ID映射至对应的对象存储列表,并根据对象存储列表的位置确认所述对象文件的对应OSD存储区域。本发明还公开了一种分布式文件系统数据分布装置。本发明实现了分布式文件存储容量、价格、扩容及硬件厂商的限制问题。
-
公开(公告)号:CN106250519A
公开(公告)日:2016-12-21
申请号:CN201610633323.3
申请日:2016-08-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/24556 , G06F16/244 , G06F16/2456 , G06F16/278
Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。
-
公开(公告)号:CN105677761A
公开(公告)日:2016-06-15
申请号:CN201511021428.5
申请日:2015-12-30
Applicant: 国网信息通信产业集团有限公司 , 江苏省电力公司信息通信分公司 , 南京南瑞集团公司 , 国家电网公司
IPC: G06F17/30
CPC classification number: G06F16/278
Abstract: 本发明公开了一种数据切分的方法,包括:根据数据的实际情况,选择相应的分区模式进行数据切分;当需要确保数据库的稳定性并且业务数据属于读多写少的情况,则根据应用发起的数据切分请求,选择读写分离的分区模式对数据进行切分;当单台数据库的硬件资源足够,但是单张表的数据超过阈值时,则根据应用发起的数据切分请求,选择单库分表的分区模式对数据进行切分;当单台数据库的硬件资源不足时,则根据应用发起的数据切分请求,选择多库分表的分区模式对数据进行切分;该方法能够在数据量很大,数据急速膨胀的情况下,提高数据库的读写性能,提高数据库的效率;本发明还公开了一种数据切分的系统。
-
公开(公告)号:CN105589937A
公开(公告)日:2016-05-18
申请号:CN201510921578.5
申请日:2015-12-14
Applicant: 江苏鼎峰信息技术有限公司
Inventor: 韩学龙
IPC: G06F17/30
CPC classification number: G06F16/278
Abstract: 本发明公开了一种分布式数据库存储架构系统,包括若干子数据库,所述子数据库与应用程序之间通过数据路由建立连接;所述子数据库是对数据进行水平切分后得到的。本发明的优点是:通过比较廉价的设备架构出具备高可用性和高扩展性的计算机集群中的数据库存储系统,集群扩展能力很强,几乎可以做到线性扩展,即使部分子数据库节点故障,也不会影响其他子数据库节点,数据读写效率也得到了提高,不因数据量而受影响。
-
公开(公告)号:CN105447110A
公开(公告)日:2016-03-30
申请号:CN201510778859.X
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F16/278 , G06F9/5083 , G06F16/2365
Abstract: 本发明提供一种数据库集群批量快速加载数据的方法及加载系统,通过在数据库集群中新增加载系统,实现批量数据的获取、清洗、拆分以及分块整体存储入库。加载系统与组成集群的每个集群节点通过TCP/IP建立连接,提供加载控制接口、数据拆分功能和数据加载功能,供客户端调用实现批量快速向数据库集群中加载数据。采用本发明中的方法,提高了数据库集群数据加载的速度以及提供了数据加载的负载控制手段,同时保证了加载数据的一致性,进而提高数据库集群的高可用性。
-
公开(公告)号:CN104657388A
公开(公告)日:2015-05-27
申请号:CN201310597967.8
申请日:2013-11-22
Applicant: 阿里巴巴集团控股有限公司
Inventor: 吕春建
IPC: G06F17/30
CPC classification number: G06F16/278 , G06F16/24535
Abstract: 本申请涉及一种数据处理方法和装置。其中,该方法包括:扫描存储于数据库表中的一个或多个数据;基于扫描,对一个或多个数据中的重复数据进行计数,确定每个重复数据的计数值;根据每个重复数据和每个重复数据的计数值,计算与分析数据分布相关的结果。本申请的方法和装置基于重复数据,避免了对所有数据扫描,有效降低计算机IO,显著减少运算数据量,提高运算效率并缩短数据处理时间、减轻计算机运行的负担,并且,利用分位数区间快速的获得分位数降低了计算开销。由此,解决了提高计算机数据处理过程中的运算性能、提高计算效率的问题。
-
公开(公告)号:CN106462717B
公开(公告)日:2019-06-14
申请号:CN201580032647.5
申请日:2015-06-23
Applicant: 甲骨文国际公司
IPC: G06F21/62
CPC classification number: H04L63/20 , G06F16/278 , G06F21/604 , G06F21/62 , H04L47/70 , H04L63/08 , H04L63/105 , H04L67/02 , H04L67/10
Abstract: 根据实施例,本文描述了用于在多租户应用服务器环境中提供安全性的系统和方法。根据实施例,每分区的安全性配置包括:每分区的安全性领域(包括用于认证、授权、凭证映射、审核、密码验证、证书验证以及用户锁定的配置);SSL配置,包括密钥、证书以及其他配置属性;以及用于分区资源和全局资源的访问控制。管理员可以经由角色的授予将一个或更多分区用户指派为分区管理员。
-
公开(公告)号:CN105264521B
公开(公告)日:2018-10-30
申请号:CN201480000196.2
申请日:2014-02-18
Applicant: 华为技术有限公司
IPC: G06F17/30
CPC classification number: G06F16/278 , G06F16/258
Abstract: 本发明实施例提供一种数据表的导入方法、数据管理器以及服务器,该方法包括:数据管理器读取M张待导入数据表中的导入次序为1的第1张数据表的数据,并根据分布式数据库中的N个服务器,将第1张数据表的数据分成N份并分别发送给N个服务器;按照导入次序,并分别取i值为2至M的整数,数据管理器依次对M张待导入数据表中的第i张数据表执行至少一次下述步骤:数据管理器读取第i张数据表的至少部分外键,并将至少部分外键发送给N个服务器;数据管理器接收N个服务器将至少部分外键与第i‑1张数据表的主键进行连接处理后而获得的N个处理结果;数据管理器将第i张数据表中与N个处理结果对应的对应数据分别发送给N个服务器。
-
公开(公告)号:CN107005596A
公开(公告)日:2017-08-01
申请号:CN201580067419.1
申请日:2015-12-15
Applicant: 华为技术有限公司
Inventor: 蔡乐
IPC: H04L29/08
CPC classification number: G06F11/2033 , G06F9/5083 , G06F11/2023 , G06F11/2035 , G06F11/2048 , G06F11/2058 , G06F11/2094 , G06F11/2097 , G06F16/278 , G06F2201/805 , G06F2201/86 , H04L67/1008 , H04L67/1034 , H04L67/1095 , H04L67/1097
Abstract: 一种用于将多个数据分区分配在一群计算机节点之间的计算机实现方法,包括:将数据库划分成多个主分区;将所述主分区存储在与计算机网络相关联的多个节点上;复制所述主分区来创建多个从分区并将所述从分区存储在所述节点上,其中,所述主从分区大致均匀地分配在所述节点之间,各从分区而不是其对应的主分区存储在不同节点上,关于各从分区和存储其的节点存在分集,所述主分区可用来服务于系统工作负载,并且故障节点的一个或多个主分区对应的一个或多个从分区可用于在所述计算机节点中的一个故障之后就升级到主用状态来保持工作负载平衡和数据的可用性。
-
公开(公告)号:CN106716400A
公开(公告)日:2017-05-24
申请号:CN201580001180.8
申请日:2015-06-26
Applicant: 华为技术有限公司
IPC: G06F17/30
CPC classification number: G06F16/278 , G06F16/221 , G06F16/2282 , G06F16/25
Abstract: 一种数据表的分区管理方法及装置,包括:确定表组中每个数据表的类型以及关联键,所述数据表的类型包括一维维度表、多维维度表或事实表(S301);根据所述表组中每个所述数据表的类型,针对每个所述数据表中的关联键对每个所述数据表的行副本空间进行一维分区以及列副本空间进行一维或多维分区(S302)。针对不同类型以及不同维度的数据表采用不同的分区管理方法,从而在一个系统里高效的实现OLTP和OLAP的数据处理机制,节省了资源消耗。
-
-
-
-
-
-
-
-
-