公开(公告)号：CN105808577B

公开(公告)日：2019-08-20

申请号：CN201410848940.6

申请日：2014-12-29

Applicant: 北京神州泰岳软件股份有限公司

Inventor： 唐正才 ,  王庆磊 ,  张国波

IPC: G06F16/2455 ,  G06F16/25

Abstract: 本发明公开一种基于HBase数据库的数据批量入库的方法和装置，该方法包括：对待入库源数据提取行键并排序，将排序后的行键按指定的分区个数进行平均分区确定出每个分区范围端值对应的行键；将每个分区范围端值对应的行键分别增加预定长度作为每个预建分区范围的端值；判断HBase数据库中是否有HBase表；如果否，创建HBase表并在HBase表中根据每个预建分区范围的端值建立分区；对待入库源数据按照HBase表中每个分区并行生成对应的HFile文件；将HFile文件批量导入HBase表。通过本发明的这种数据批量入库方法提高了HFile文件的生成速度及入库速度，从而使得HBase批量入库效率得到极大的提升。

公开(公告)号：CN105808577A

公开(公告)日：2016-07-27

申请号：CN201410848940.6

申请日：2014-12-29

Applicant: 北京神州泰岳软件股份有限公司

Inventor： 唐正才 ,  王庆磊 ,  张国波

IPC: G06F17/30

Abstract: 本发明公开一种基于HBase数据库的数据批量入库的方法和装置，该方法包括：对待入库源数据提取行键并排序，将排序后的行键按指定的分区个数进行平均分区确定出每个分区范围端值对应的行键；将每个分区范围端值对应的行键分别增加预定长度作为每个预建分区范围的端值；判断HBase数据库中是否有HBase表；如果否，创建HBase表并在HBase表中根据每个预建分区范围的端值建立分区；对待入库源数据按照HBase表中每个分区并行生成对应的HFile文件；将HFile文件批量导入HBase表。通过本发明的这种数据批量入库方法提高了HFile文件的生成速度及入库速度，从而使得HBase批量入库效率得到极大的提升。