公开(公告)号：CN107193643B

公开(公告)日：2019-11-05

申请号：CN201710192864.1

申请日：2017-03-28

Applicant: 中国科学院信息工程研究所

Inventor： 木伟民 ,  李召希 ,  王坤朋 ,  王伟平

IPC: G06F9/48 ,  G06F9/54 ,  G06F11/30

Abstract: 本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。

公开(公告)号：CN107193643A

公开(公告)日：2017-09-22

申请号：CN201710192864.1

申请日：2017-03-28

Applicant: 中国科学院信息工程研究所

Inventor： 木伟民 ,  李召希 ,  王坤朋 ,  王伟平

IPC: G06F9/48 ,  G06F9/54 ,  G06F11/30

Abstract: 本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。