公开(公告)号：CN111078781B

公开(公告)日：2023-05-26

申请号：CN201911395133.2

申请日：2019-12-30

Applicant: 电信科学技术第五研究所有限公司

Inventor： 俞鹏飞 ,  冯磊 ,  李芝权 ,  杨永刚

IPC: G06F16/25 ,  G06F16/215

Abstract: 本发明公开了一种多源流式大数据融合汇聚处理框架模型实现方法，包括：多源流式数据采集实现方法包括：流式数据采集代理和多源流式数据采集服务，提供汇聚元数据标准，进行流式多源数据采集；多源流式数据融合处理实现方法包括：多源流式数据融合汇聚，提供基于Flink&Spark Stream流式处理引擎，依据汇聚元数据标准，配置采集的流式多源数据融合进行流式数据处理，加工为符合汇聚元数据标准要求的汇聚元数据，进行规整化汇聚元数据标准存储，为汇聚数据统计挖掘分析提供数据。本发明融合大数据处理主流Flink、Sprakstream开源技术组件，解决多源数据融合汇聚处理中的多源数据互补、特征算子化加工、汇聚元数据标准化、流式目标数据匹配。

公开(公告)号：CN111078781A

公开(公告)日：2020-04-28

申请号：CN201911395133.2

申请日：2019-12-30

Applicant: 电信科学技术第五研究所有限公司

Inventor： 俞鹏飞 ,  冯磊 ,  李芝权 ,  杨永刚

IPC: G06F16/25 ,  G06F16/215

Abstract: 本发明公开了一种多源流式大数据融合汇聚处理框架模型实现方法，包括：多源流式数据采集实现方法包括：流式数据采集代理和多源流式数据采集服务，提供汇聚元数据标准，进行流式多源数据采集；多源流式数据融合处理实现方法包括：多源流式数据融合汇聚，提供基于Flink&Spark Stream流式处理引擎，依据汇聚元数据标准，配置采集的流式多源数据融合进行流式数据处理，加工为符合汇聚元数据标准要求的汇聚元数据，进行规整化汇聚元数据标准存储，为汇聚数据统计挖掘分析提供数据。本发明融合大数据处理主流Flink、Sprakstream开源技术组件，解决多源数据融合汇聚处理中的多源数据互补、特征算子化加工、汇聚元数据标准化、流式目标数据匹配。