公开(公告)号：CN111159176A

公开(公告)日：2020-05-15

申请号：CN201911196972.1

申请日：2019-11-29

Applicant: 中国科学院计算技术研究所

Inventor： 么广忠 ,  郭斯杰 ,  熊劲

IPC: G06F16/22 ,  G06F16/27 ,  G06F16/2458 ,  G06F16/2455

Abstract: 本发明提供了一种海量流数据的存储方法，包括：接收来自客户端的流数据；将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据；所述行式流数据存储完成后向客户端返回确认消息。

公开(公告)号：CN101996250B

公开(公告)日：2012-07-25

申请号：CN201010546473.3

申请日：2010-11-15

Applicant: 中国科学院计算技术研究所

Inventor： 郭斯杰 ,  熊劲

IPC: G06F17/30

Abstract: 本发明公开了一种基于Hadoop的海量流数据存储和查询方法及系统。所述方法，包括下列步骤：构建段级列簇式存储结构：将流数据依次存储为列簇记录，并对列簇记录从前往后进行压缩得到压缩数据页，将该压缩数据页写到一个列簇数据，同时将该压缩数据页的页面概要信息追加写入到列簇数据的尾端，得到完整的数据段；在查询语句执行的过程中，根据过滤条件，利用存储在数据段尾端的所述页面概要信息构建出一张扫描表对数据进行快速过滤。

公开(公告)号：CN101996250A

公开(公告)日：2011-03-30

申请号：CN201010546473.3

申请日：2010-11-15

Applicant: 中国科学院计算技术研究所

Inventor： 郭斯杰 ,  熊劲

IPC: G06F17/30

Abstract: 本发明公开了一种基于Hadoop的海量流数据存储和查询方法及系统。所述方法，包括下列步骤：构建段级列簇式存储结构：将流数据依次存储为列簇记录，并对列簇记录从前往后进行压缩得到压缩数据页，将该压缩数据页写到一个列簇数据，同时将该压缩数据页的页面概要信息追加写入到列簇数据的尾端，得到完整的数据段；在查询语句执行的过程中，根据过滤条件，利用存储在数据段尾端的所述页面概要信息构建出一张扫描表对数据进行快速过滤。