公开(公告)号：CN109710731A

公开(公告)日：2019-05-03

申请号：CN201811373337.1

申请日：2018-11-19

Applicant: 北京计算机技术及应用研究所

Inventor： 李志强 ,  石波 ,  胡佳 ,  谢小明 ,  丁卫星 ,  徐晶

IPC: G06F16/332 ,  G06F9/54

Abstract: 本发明涉及一种基于Flink的数据流多向处理系统，涉及数据实时处理技术领域。本发明给出了一种基于Kafka/Flink/Elasticsearch的单消费者处理多业务的数据流处理系统，能够实时高效准确地处理大规模的数据。利用Kafka的高扩展性和高可靠性，可将多个数据源的数据准确地收集汇总，并且易于新增扩展；Kafka可进行持久化操作，将消息持久化到磁盘，极大地减少了数据丢失的概率。与Flink的高效组合，分布式可升级为多消费多向处理业务数据的形式，极大地扩展了flink作为消费者的数据处理能力，同时也保证了计算并存储的快速性。这一种基于flink单消费者数据流处理系统，既在单节点上有出色的表现，也能在分布式呈现惊人的分析效率，扩大了传统算法分向处理、分析范围和快速存储的整体能力。

公开(公告)号：CN109933589A

公开(公告)日：2019-06-25

申请号：CN201910197747.3

申请日：2019-03-15

Applicant: 北京计算机技术及应用研究所

Inventor： 胡佳 ,  石波 ,  李志强 ,  谢小明 ,  丁卫星 ,  徐晶 ,  刘建道

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/25

Abstract: 本发明涉及一种用于数据汇总的基于ElasticSearch聚合运算结果的数据结构转换方法，涉及数据结构技术领域。本发明能够高效准确地将复杂的异形树形数据结构转换为简单易用的数组型数据结构，此方法解决了ES聚合结果复杂难以解析的问题，一定程度上满足不限级聚合结果的转换需要。

公开(公告)号：CN107609158A

公开(公告)日：2018-01-19

申请号：CN201710881173.2

申请日：2017-09-26

Applicant: 北京计算机技术及应用研究所

Inventor： 胡佳 ,  石波 ,  吴朝雄 ,  谢小明 ,  沈德峰 ,  沈艳林 ,  邓应先 ,  李志强

IPC: G06F17/30

Abstract: 本发明涉及一种基于Flume的高可靠数据采集及存储方法，涉及数据处理技术领域。本发明基于Flume和文件系统HDFS设计了一种改进的数据采集及存储方法，能够最大可能在大量数据高速存储的时候保证数据不丢失，同时减少数据写入文件系统造成的拥堵，提升数据写入的性能。

公开(公告)号：CN109933589B

公开(公告)日：2021-03-05

申请号：CN201910197747.3

申请日：2019-03-15

Applicant: 北京计算机技术及应用研究所

Inventor： 胡佳 ,  石波 ,  李志强 ,  谢小明 ,  丁卫星 ,  徐晶 ,  刘建道

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/25

Abstract: 本发明涉及一种用于数据汇总的基于ElasticSearch聚合运算结果的数据结构转换方法，涉及数据结构技术领域。本发明能够高效准确地将复杂的异形树形数据结构转换为简单易用的数组型数据结构，此方法解决了ES聚合结果复杂难以解析的问题，一定程度上满足不限级聚合结果的转换需要。