公开(公告)号：CN105404676A

公开(公告)日：2016-03-16

申请号：CN201510813149.6

申请日：2015-11-20

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  陈芳蓉 ,  张敬亮

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30339 ,  G06F17/30345 ,  G06F17/30442

Abstract: 本发明公开了一种基于HFile的HBase二级索引更新方法及系统，该方法包括：解析步骤，监视HBase数据库刷新HFile文件的过程，当针对目标索引列产生了用户操作并生成有HFile文件时，解析该HFile文件并据以更新二级索引表；延迟步骤，在到达HFile文件的compaction操作的启动时间点时，判断该compaction操作所对应的HFile文件是否已经执行该解析该HFile文件的步骤，如果否，延迟该compaction操作的启动时间点，如果是，执行该compaction操作。本发明选择基于HBase文件存储中的HFile这一粒度层次来确定索引更新，不需要大幅度修改HBase源码，不需要维护多余的源表信息，在实现上与用户数据操作异步，不影响用户的时间体验，将索引数据更新维护与源表数据操作解耦。提高了HBase源表数据与二级索引表的同步程度。

公开(公告)号：CN105404676B

公开(公告)日：2018-08-31

申请号：CN201510813149.6

申请日：2015-11-20

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  陈芳蓉 ,  张敬亮

IPC: G06F17/30

Abstract: 本发明公开了一种基于HFile的HBase二级索引更新方法及系统，该方法包括：解析步骤，监视HBase数据库刷新HFile文件的过程，当针对目标索引列产生了用户操作并生成有HFile文件时，解析该HFile文件并据以更新二级索引表；延迟步骤，在到达HFile文件的compaction操作的启动时间点时，判断该compaction操作所对应的HFile文件是否已经执行该解析该HFile文件的步骤，如果否，延迟该compaction操作的启动时间点，如果是，执行该compaction操作。本发明选择基于HBase文件存储中的HFile这一粒度层次来确定索引更新，不需要大幅度修改HBase源码，不需要维护多余的源表信息，在实现上与用户数据操作异步，不影响用户的时间体验，将索引数据更新维护与源表数据操作解耦。提高了HBase源表数据与二级索引表的同步程度。