一种数据存储和查询方法以及装置

    公开(公告)号:CN103914462B

    公开(公告)日:2017-09-05

    申请号:CN201210592932.0

    申请日:2012-12-31

    Abstract: 本申请公开了一种数据存储和查询方法以及装置。该方法包括:确定单位批量待存储数据的每个列所需的数据块个数、大小和取值范围并为每个列初始化存储空间;按照单位批量待存储数据的各行数据的同一列的取值所属的范围、以及同一取值范围内各行数据的同一列的取值之间的排序关系,确定该列的存储空间中分别用于存储所述各行数据的该列的取值的数据块的ID和数据块内的位置,在相应数据块的相应位置处存储所述各行数据的该列的取值,使得同一个数据块内的各行取值有序排列、且各个数据块存储的取值之间也有序排列;存储同一行数据中各个列之间的存储位置引用关系信息。应用本发明能够提高大批量用户并发执行查询操作时的并发操作吞吐率。

    一种数据处理方法和设备
    52.
    发明授权

    公开(公告)号:CN103905512B

    公开(公告)日:2017-06-20

    申请号:CN201210586821.9

    申请日:2012-12-28

    Inventor: 周大 钱岭 梁智超

    Abstract: 本发明公开了一种数据处理方法和设备,所述方法包括:对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:接收客户端发送的用于请求数据加载地址的地址请求;根据地址请求确定目标分组以及目标分组中各存储设备上的目标数据块的地址;向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。通过采用本发明提供的方法,可以减少被加锁存储设备的数量,降低存储系统出现死锁的概率。

    一种并行计算系统中的磁盘缓存方法及装置

    公开(公告)号:CN103914399B

    公开(公告)日:2017-03-29

    申请号:CN201210591659.X

    申请日:2012-12-31

    Abstract: 本发明提供了一种并行计算系统中的磁盘缓存方法及装置。其中所述方法包括:预先分配记录数据和消息数据在所述处理数据内存区中各自所占的比例;在数据加载过程中若记录数据在处理数据内存区中的容量将要超过预先分配的比例时,则以Hash桶为单位将部分记录数据缓存到磁盘空间;在计算任务对记录数据的遍历访问过程中,若将要求访问的Hash桶位于磁盘空间,并且处理数据内存区中剩余的记录数据空间不足以载入所述将要求访问的Hash桶,则将处理数据内存区中已访问过的Hash桶逐个缓存到磁盘空间,直至释放的空间能够载入所述将要求访问的Hash桶。本发明能在基于BSP模型的并行迭代计算系统中实现数据向磁盘的自动化缓存。

    一种对象存储系统中元数据分布的方法和设备

    公开(公告)号:CN103106207B

    公开(公告)日:2016-12-14

    申请号:CN201110355678.8

    申请日:2011-11-10

    Abstract: 本发明公开了一种对象存储系统中元数据分布的方法和设备,其主要内容包括:根据元数据服务器集群中各MDS存储能力的大小,为每个MDS分配独立子区间,并根据元数据在对象存储系统中的全局唯一标识运算后的运算结果与所述独立子区间之间的映射关系,确定该运算结果所属的独立子区间,将该元数据分布至该独立子区间所对应的MDS,利用该元数据服务器对该元数据进行管理,由于元数据在元数据服务器集群中的分布充分考虑到了MDS的存储能力,存储能力越强的MDS所管理的元数据越大,确保了元数据在元数据服务器集群中分布的均衡性。

    一种数据库集群系统及其恢复方法、管理节点

    公开(公告)号:CN105095248A

    公开(公告)日:2015-11-25

    申请号:CN201410185245.6

    申请日:2014-05-04

    Abstract: 本发明提供了一种数据库集群系统及其恢复方法、管理节点。其中所述恢复方法包括:收集系统中各个数据库节点的事务日志;对收集的所有数据库节点的事务日志中的事务进行排序,得到事务列表;轮询事务列表中的事务,直至所有事务轮询完毕,其中,在轮询每个事务时,若当前轮询事务仅涉及一个相关数据库节,则将当前轮询事务的事务信息发送给相关数据库节点,并继续轮询所述事务列表中的下一个事务;否则,将当前轮询事务的事务信息发送给每个相关数据库节点,并在接收到所有相关数据库节点反馈的故障恢复完成消息后,才继续轮询所述事务列表中的下一个事务。本发明可以简便、高效地实现数据库恢复。

    一种数据存储、虚拟平台故障恢复的方法、设备和系统

    公开(公告)号:CN104753992A

    公开(公告)日:2015-07-01

    申请号:CN201310741815.0

    申请日:2013-12-29

    Abstract: 本发明公开了一种数据存储、虚拟平台故障恢复的方法、设备和系统,包括:监测运行在物理服务器中的虚拟机产生的包含了低频率变化的数据信息和高频率变化的数据信息的数据信息,根据数据存储策略,将数据信息中包含的低频率变化的数据信息存储在物理服务器本地,以及将数据信息中包含的高频率变化的数据信息存储在共享存储设备中,这样,对于变化频率相对较低的数据信息采用本地存储的方式,数据管理方便,对于变化频率相对较高的数据信息采用共享存储的方式,使得变化频率高的数据信息存储的可靠性高,根据数据信息的变化程度采取不同的存储方式,不仅保证了数据信息存储的可靠性,而且在降低系统成本的同时,提高了系统中数据存储的高可用性。

    一种虚拟化平台、安全防护方法及装置

    公开(公告)号:CN104753852A

    公开(公告)日:2015-07-01

    申请号:CN201310728105.4

    申请日:2013-12-25

    CPC classification number: H04L63/0272 H04L63/02

    Abstract: 本发明涉及计算机网络技术领域,尤其涉及一种虚拟化平台、安全防护方法及装置,用以解决采用专用的硬件防火墙设备为整个虚拟化平台提供安全防护的存在性能瓶颈和单点故障的问题。在本发明实施例提供的虚拟化平台包括:至少一台服务器,每一台服务器上运行至少一个虚拟机,其中,每一台服务器用于向该服务器上的每个虚拟机分别提供安全防护服务。由于虚拟化平台中的每一台服务器向该服务器上的每个虚拟机分别体统安全防护服务,避免了采用专用硬件防火墙设备为整个虚拟机提供安全防护服务存在的性能瓶颈和单点故障的问题。

    一种告警上报方法、告警上报节点及告警上报系统

    公开(公告)号:CN104753712A

    公开(公告)日:2015-07-01

    申请号:CN201310752991.4

    申请日:2013-12-31

    Abstract: 本发明发明涉及通信技术领域,尤其涉及一种告警上报方法、告警上报节点及告警上报系统。本发明的内容包括:告警上报节点将采集到的告警信息发送给同一分组内的主告警上报节点,以使所述主告警上报节点上报所述告警信息;所述告警上报节点在预设时间段内没有接收到所述主告警上报节点发送的响应消息,将所述告警信息发送给同一分组内的从告警上报节点,以使所述从告警上报节点上报所述告警信息。本发明实施例在主告警上报节点故障时,通过同一分组内的从告警上报节点上报告警信息,可保证告警信息的可靠上报。

    一种数据操作方法、设备及元数据存储设备

    公开(公告)号:CN104750756A

    公开(公告)日:2015-07-01

    申请号:CN201310753082.2

    申请日:2013-12-31

    Inventor: 陈媛媛 王娟 钱岭

    Abstract: 本发明公开了一种数据操作方法、设备及元数据存储设备。元数据存储设备包括第一硬盘存储单元和第二硬盘存储单元。第一硬盘存储单元用于以保存对象存储系统中所有副本的位置信息;第二硬盘存储单元用于分别保存所述对象存储系统中每组对象存储设备存储的副本的位置信息。由于每组对象存储设备存储的副本的位置信息分别保存。在读取过程中,从一组对象存储设备存储的位置信息中查找目标对象的副本的位置信息,其效率远远高于从全部副本的位置信息中查找第一目标对象的副本的位置信息。另外,由于元数据保存在元数据存储设备的硬盘中,而非缓存元数据,从而保证了元数据存储的可靠性。

Patent Agency Ranking