一种基于流式数据的局部性非聚簇索引方法及系统

    公开(公告)号:CN105335475A

    公开(公告)日:2016-02-17

    申请号:CN201510641703.7

    申请日:2015-09-30

    CPC classification number: G06F17/3033 G06F17/30516

    Abstract: 本发明公开了一种基于流式数据的局部性非聚簇索引方法及系统,该方法包括:实时更新步骤,实时更新哈希索引表中针对所接收到的每条流式数据而产生的索引记录,该索引记录记载了该流式数据中出现的索引键、该索引键首次出现时所对应的主键以及从首次出现到当前最末次出现所覆盖的数据个数;写入步骤,当达到触发条件时,将该哈希索引表中的该索引记录写入索引表中,继续执行该实时更新步骤。本发明极大地缩小了索引表的空间及构建索引表所产生的带宽开销,该索引方法将随机访问与顺序扫描结合起来,有效地利用了流式数据的时间局部特性,更符合存储介质的访问模型,提高了索引数据查询的效率。

    一种资源管理系统和方法

    公开(公告)号:CN101324893B

    公开(公告)日:2011-08-17

    申请号:CN200810116075.0

    申请日:2008-07-02

    Abstract: 本发明提供一种资源管理系统和方法。该资源管理系统包括:基于文件资源组织部件,其用于存储具有空闲资源的文件的索引节点;文件操作部件,其用于根据所述基于文件资源组织部件中存储的所述索引节点直接进行资源管理。利用该系统进行资源管理,资源分配的结果可以被重用,提高了资源分配的效率;删除文件不必进行块资源回收,降低了资源回收的开销;大量减少了资源分配、回收过程中相关数据结构的修改操作,提高了资源管理速度。

    一种数据加载的方法和设备

    公开(公告)号:CN106354870A

    公开(公告)日:2017-01-25

    申请号:CN201610828103.6

    申请日:2016-09-18

    CPC classification number: G06F16/254

    Abstract: 本发明提供一种数据加载系统和方法。所述方法包括:多个数据加载节点中的一个接收加载请求;响应于该加载请求,在多个数据加载节点中启动与该加载请求相对应的加载服务进程,以及生成加载标识,该加载标识与该加载服务进程相关联;数据源节点基于所述加载标识获得所述加载服务进程的监听地址;数据源节点向该监听地址发送待加载数据;数据加载节点从该监听地址接收来自该数据源节点的待加载数据,以及按照设置的路由规则将数据转发至其他数据加载节点,或者将数据加载到相关联的存储设备。根据本发明的方法,可以提高数据加载的安全性和可靠性,避免采用硬件或者频繁启动加载而带来的损耗成本,并且利用并发的系统资源来执行数据加载的过程。

    异步流水线式的图查询方法及系统

    公开(公告)号:CN105260374A

    公开(公告)日:2016-01-20

    申请号:CN201510423353.7

    申请日:2015-07-17

    CPC classification number: G06F17/30283 G06F17/3048

    Abstract: 本发明适用于分布式信息处理技术领域,提供了一种异步流水线式的图查询方法,应用于分布式图数据库,包括:根据查询请求创建包含多个查询步骤的流水线;检测所述查询步骤的缓存队列,根据所述缓存队列的剩余元素的容量唤醒多个预取线程;创建异步化管理后端数据层的连接和查询的线程池,为所述流水线配置所述线程池容量,所述流水线末端获得查询的结果。借此,本发明提高了查询速度和客户端的吞吐率。

    一种集群文件系统及其文件服务方法

    公开(公告)号:CN102158546B

    公开(公告)日:2013-05-08

    申请号:CN201110047626.4

    申请日:2011-02-28

    Abstract: 本发明提供一种集群文件系统,其特征在于,包括:目录服务器,用于存储目录元数据并提供目录服务;布局服务器机群,用于存储布局元数据并提供布局服务;以及存储设备阵列,用于存储文件内容数据。本发明还提供了相应的文件服务方法。所述文件服务方法包括文件访问步骤:客户端首先访问目录服务器获取文件的目录信息;然后访问布局服务器获取文件数据在物理存储设备上的分布信息;最后直接访问物理存储设备获取数据信息。与现有技术相比,本发明能够进一步提高文件集群系统的扩展能力;本发明兼容性强且访问延时小。

    一种计算机文件系统的快照方法

    公开(公告)号:CN101178677A

    公开(公告)日:2008-05-14

    申请号:CN200710177135.5

    申请日:2007-11-09

    Abstract: 本发明提供一种目录级计算机文件系统快照的创建方法,包括:确定需要创建快照的目录;当目录第一次创建快照时,将目录工作版本的根索引节点信息添加到快照集索引表中,更新最近一次创建或者删除快照集的时间点;分配一个新的索引节点作为所要创建的快照版本的根索引节点,并将工作版本的根索引节点的内容复制到新分配的索引节点中;将工作版本的写时拷贝链表复制到新创建快照的根索引节点上,然后清空工作版本的写时拷贝链表内容;将快照版本的根索引节点的快照创建时间设置为计算机系统的当前时间;将快照版本的根索引节点链接到目录的快照链表上。本发明还提供了目录级计算机文件系统快照的删除方法,以及目录工作版本修改方法。

    一种数据加载的方法和设备

    公开(公告)号:CN106354870B

    公开(公告)日:2019-07-12

    申请号:CN201610828103.6

    申请日:2016-09-18

    Abstract: 本发明提供一种数据加载系统和方法。所述方法包括:多个数据加载节点中的一个接收加载请求;响应于该加载请求,在多个数据加载节点中启动与该加载请求相对应的加载服务进程,以及生成加载标识,该加载标识与该加载服务进程相关联;数据源节点基于所述加载标识获得所述加载服务进程的监听地址;数据源节点向该监听地址发送待加载数据;数据加载节点从该监听地址接收来自该数据源节点的待加载数据,以及按照设置的路由规则将数据转发至其他数据加载节点,或者将数据加载到相关联的存储设备。根据本发明的方法,可以提高数据加载的安全性和可靠性,避免采用硬件或者频繁启动加载而带来的损耗成本,并且利用并发的系统资源来执行数据加载的过程。

    异步流水线式的图查询方法及系统

    公开(公告)号:CN105260374B

    公开(公告)日:2019-03-15

    申请号:CN201510423353.7

    申请日:2015-07-17

    Abstract: 本发明适用于分布式信息处理技术领域,提供了一种异步流水线式的图查询方法,应用于分布式图数据库,包括:根据查询请求创建包含多个查询步骤的流水线;检测所述查询步骤的缓存队列,根据所述缓存队列的剩余元素的容量唤醒多个预取线程;创建异步化管理后端数据层的连接和查询的线程池,为所述流水线配置所述线程池容量,所述流水线末端获得查询的结果。借此,本发明提高了查询速度和客户端的吞吐率。

    一种集群文件系统及其文件服务方法

    公开(公告)号:CN102158546A

    公开(公告)日:2011-08-17

    申请号:CN201110047626.4

    申请日:2011-02-28

    Abstract: 本发明提供一种集群文件系统,其特征在于,包括:目录服务器,用于存储目录元数据并提供目录服务;布局服务器机群,用于存储布局元数据并提供布局服务;以及存储设备阵列,用于存储文件内容数据。本发明还提供了相应的文件服务方法。所述文件服务方法包括文件访问步骤:客户端首先访问目录服务器获取文件的目录信息;然后访问布局服务器获取文件数据在物理存储设备上的分布信息;最后直接访问物理存储设备获取数据信息。与现有技术相比,本发明能够进一步提高文件集群系统的扩展能力;本发明兼容性强且访问延时小。

    一种基于图的存储模式挖掘方法

    公开(公告)号:CN102096719A

    公开(公告)日:2011-06-15

    申请号:CN201110040963.0

    申请日:2011-02-18

    Inventor: 张敬亮 梁爽

    Abstract: 本发明提供一种基于图的存储模式挖掘方法,通过一次遍历将原始序列信息累积并压缩保存于频繁模式图中,再利用模式生长条件通过对频繁模式图中频繁子图的游历产生优化有效的模糊频繁子模式。通过图中拓扑对原始序列信息的保存避免了对序列的多次扫描;同时其利用频度模式简化挖掘目标,降低了挖掘开销,适合大规模数据密集应用的存储模式挖掘并支持在线流式挖掘。

Patent Agency Ranking