-
公开(公告)号：CN105404676B
公开(公告)日：2018-08-31
申请号：CN201510813149.6
申请日：2015-11-20
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于HFile的HBase二级索引更新方法及系统，该方法包括：解析步骤，监视HBase数据库刷新HFile文件的过程，当针对目标索引列产生了用户操作并生成有HFile文件时，解析该HFile文件并据以更新二级索引表；延迟步骤，在到达HFile文件的compaction操作的启动时间点时，判断该compaction操作所对应的HFile文件是否已经执行该解析该HFile文件的步骤，如果否，延迟该compaction操作的启动时间点，如果是，执行该compaction操作。本发明选择基于HBase文件存储中的HFile这一粒度层次来确定索引更新，不需要大幅度修改HBase源码，不需要维护多余的源表信息，在实现上与用户数据操作异步，不影响用户的时间体验，将索引数据更新维护与源表数据操作解耦。提高了HBase源表数据与二级索引表的同步程度。
-
公开(公告)号：CN105306552A
公开(公告)日：2016-02-03
申请号：CN201510641915.5
申请日：2015-09-30
Applicant: 中国科学院计算技术研究所
CPC classification number: Y02D50/10 , H04L67/2842 , G06Q10/0631 , G06Q10/06316
Abstract: 本发明公开了一种基于消息队列的消费均衡及系统，该方法包括：排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。通过本发明的上述技术方案，不管生产者端以何种策略生产消息，或者消费者端每次是否拉取相同条数的消息，或者服务器是否发生了宕机，本发明均可以保证未消费数最大的消息队列在下一次消费的时候得到了消费，维护整个消息队列的消费均衡，不会出现某个消息队列的消息积压的现象。
-
公开(公告)号：CN101324893A
公开(公告)日：2008-12-17
申请号：CN200810116075.0
申请日：2008-07-02
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种资源管理系统和方法。该资源管理系统包括：基于文件资源组织部件，其用于存储具有空闲资源的文件的索引节点；文件操作部件，其用于根据所述基于文件资源组织部件中存储的所述索引节点直接进行资源管理。利用该系统进行资源管理，资源分配的结果可以被重用，提高了资源分配的效率；删除文件不必进行块资源回收，降低了资源回收的开销；大量减少了资源分配、回收过程中相关数据结构的修改操作，提高了资源管理速度。
-
公开(公告)号：CN106648934B
公开(公告)日：2019-12-03
申请号：CN201611228895.X
申请日：2016-12-27
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括：步骤1，将Impala发出的查询语句编译为查询指令，该查询指令的数量与HBase的Region的数量相同；步骤2，每个该查询指令对应查询该HBase的一个Region，所有该查询指令并行对该HBase进行查询，所获得的查询结果并行传输至一缓冲区；步骤3，以socket的方式，将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能，且通过采用以socket传输二进制数据的方式，使得本发明在数据传输层，没有序列化以及反序列化的开销，不存在性能瓶颈，使得传输性能比JNI的传输方式更加高效。
-
公开(公告)号：CN105335475B
公开(公告)日：2018-07-10
申请号：CN201510641703.7
申请日：2015-09-30
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种基于流式数据的局部性非聚簇索引方法及系统，该方法包括：实时更新步骤，实时更新哈希索引表哈希索引表中针对所接收到的每条流式数据而产生的索引记录，该索引记录记载了该流式数据中出现的索引键、该索引键首次出现时所对应的主键以及从首次出现到当前最末次出现所覆盖的数据个数；写入步骤，当达到触发条件时，将该哈希索引表中的该索引记录写入索引表中，继续执行该实时更新步骤。本发明极大地缩小了索引表的空间及构建索引表所产生的带宽开销，该索引方法将随机访问与顺序扫描结合起来，有效地利用了流式数据的时间局部特性，更符合存储介质的访问模型，提高了索引数据查询的效率。
-
Patent Agency Ranking
公开(公告)号：CN105159915B
公开(公告)日：2018-07-10
申请号：CN201510419480.X
申请日：2015-07-16
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明适用于文件处理技术领域，提供了一种可动态适应的LSM树合并方法，所述方法包括：将键值区间划分为若干节点，将所述节点组织为树形结构，每个所述节点对应一键值区间，每个所述键值区间包含对应该键值区间范围的文件；根据当前数据的分布动态调整树的形状；当有新写入的文件时，遍历树寻找最适节点放入；对文件进行处理时，对节点内部进行Minor Compact处理，并且只通过叶节点执行Major Compact。本发明还相应的提供一种实现上述方法的可动态适应的LSM树合并系统。借此，本发明可以实现动态适应数据的分布，提高数据合并效率。
-
公开(公告)号：CN106027623A
公开(公告)日：2016-10-12
申请号：CN201610311718.1
申请日：2016-05-11
Applicant: 中国科学院计算技术研究所 , 国家计算机网络应急技术处理协调中心
CPC classification number: H04L67/10 , H04L41/5096 , H04L67/1097
Abstract: 本发明适用于计算机技术领域，提供了一种分布式集群状态管理的方法及其系统，所述方法包括如下步骤：A、设置内存式数据库和所述分布式集群的管理者；B、通过所述内存式数据库存储所述分布式集群中至少一个集群的各节点的信息，以及通过所述分布式集群的管理者维护所述分布式集群中至少一个集群的各节点的信息。由此，提高了分布式集群的管理效率。
-
公开(公告)号：CN105404676A
公开(公告)日：2016-03-16
申请号：CN201510813149.6
申请日：2015-11-20
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30321 , G06F17/30339 , G06F17/30345 , G06F17/30442
Abstract: 本发明公开了一种基于HFile的HBase二级索引更新方法及系统，该方法包括：解析步骤，监视HBase数据库刷新HFile文件的过程，当针对目标索引列产生了用户操作并生成有HFile文件时，解析该HFile文件并据以更新二级索引表；延迟步骤，在到达HFile文件的compaction操作的启动时间点时，判断该compaction操作所对应的HFile文件是否已经执行该解析该HFile文件的步骤，如果否，延迟该compaction操作的启动时间点，如果是，执行该compaction操作。本发明选择基于HBase文件存储中的HFile这一粒度层次来确定索引更新，不需要大幅度修改HBase源码，不需要维护多余的源表信息，在实现上与用户数据操作异步，不影响用户的时间体验，将索引数据更新维护与源表数据操作解耦。提高了HBase源表数据与二级索引表的同步程度。
-
公开(公告)号：CN105159915A
公开(公告)日：2015-12-16
申请号：CN201510419480.X
申请日：2015-07-16
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30327 , G06F17/30483
Abstract: 本发明适用于文件处理技术领域，提供了一种可动态适应的LSM树合并方法，所述方法包括：将键值区间划分为若干节点，将所述节点组织为树形结构，每个所述节点对应一键值区间，每个所述键值区间包含对应该键值区间范围的文件；根据当前数据的分布动态调整树的形状；当有新写入的文件时，遍历树寻找最适节点放入；对文件进行处理时，对节点内部进行Minor Compact处理，并且只通过叶节点执行Major Compact。本发明还相应的提供一种实现上述方法的可动态适应的LSM树合并系统。借此，本发明可以实现动态适应数据的分布，提高数据合并效率。
-
公开(公告)号：CN100541441C
公开(公告)日：2009-09-16
申请号：CN200710177135.5
申请日：2007-11-09
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种目录级计算机文件系统快照的创建方法，包括：确定需要创建快照的目录；当目录第一次创建快照时，将目录工作版本的根索引节点信息添加到快照集索引表中，更新最近一次创建或者删除快照集的时间点；分配一个新的索引节点作为所要创建的快照版本的根索引节点，并将工作版本的根索引节点的内容复制到新分配的索引节点中；将工作版本的写时拷贝链表复制到新创建快照的根索引节点上，然后清空工作版本的写时拷贝链表内容；将快照版本的根索引节点的快照创建时间设置为计算机系统的当前时间；将快照版本的根索引节点链接到目录的快照链表上。本发明还提供了目录级计算机文件系统快照的删除方法，以及目录工作版本修改方法。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.037 seconds)
