公开(公告)号：CN112597205A

公开(公告)日：2021-04-02

申请号：CN202011608430.3

申请日：2020-12-30

Applicant: 哈尔滨航天恒星数据系统科技有限公司

Inventor： 姜宇 ,  周含笑 ,  刘源 ,  于雷 ,  王兆祥 ,  董丽娜 ,  李墨野 ,  王建勋 ,  赵辉 ,  邵文杰 ,  马刚

IPC: G06F16/2455 ,  G06F16/27 ,  G06F16/25 ,  G06F16/28 ,  G06F9/54

Abstract: 本发明涉及一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka系统为数据消费者提供消峰后的稳定数据源；步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索。本发明提供的方法，可应用于海量数据的实时数据分析存储系统中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。