公开(公告)号：CN104376053B

公开(公告)日：2017-12-22

申请号：CN201410611227.X

申请日：2014-11-04

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  徐熙超 ,  田伟 ,  薛羽 ,  钟水明 ,  曹杰

IPC: G06F17/30

Abstract: 本发明针对传统的数据集中存储单点查询的问题，公开了一种基于海量气象数据的存储与检索方法，利用Hadoop平台，通过对分布式非关系型数据库Hbase建立二级索引，并且将数据通过转换、迁移导入到云平台，实现海量数据的可靠存储与快速检索。本发明包括如下步骤：数据过滤；在Hbase中定义对应的表格式；建立二级索引；分情况进行数据导入；分情况进行数据检索。本发明既能实现数据的实时查询，也避免以往存储和维护大量数据所产生的高昂成本，在保证敏感数据安全的前提下能够更经济高效地实时查询海量气象数据。

公开(公告)号：CN104376053A

公开(公告)日：2015-02-25

申请号：CN201410611227.X

申请日：2014-11-04

Applicant: 南京信息工程大学

Inventor： 马廷淮 ,  徐熙超 ,  田伟 ,  薛羽 ,  钟水明 ,  曹杰

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30315 ,  G06F17/30575

Abstract: 本发明针对传统的数据集中存储单点查询的问题，公开了一种基于海量气象数据的存储与检索方法，利用Hadoop平台，通过对分布式非关系型数据库Hbase建立二级索引，并且将数据通过转换、迁移导入到云平台，实现海量数据的可靠存储与快速检索。本发明包括如下步骤：数据过滤；在Hbase中定义对应的表格式；建立二级索引；分情况进行数据导入；分情况进行数据检索。本发明既能实现数据的实时查询，也避免以往存储和维护大量数据所产生的高昂成本，在保证敏感数据安全的前提下能够更经济高效地实时查询海量气象数据。