-
公开(公告)号：CN107193643B
公开(公告)日：2019-11-05
申请号：CN201710192864.1
申请日：2017-03-28
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。
-
公开(公告)号：CN107193643A
公开(公告)日：2017-09-22
申请号：CN201710192864.1
申请日：2017-03-28
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。
-
公开(公告)号：CN103309966B
公开(公告)日：2016-02-24
申请号：CN201310219213.9
申请日：2013-06-04
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及基于时间滑动窗口的数据流点连接查询方法，该方法将一定时间内到来的数据流的元组存入缓冲区，进而对缓冲区内的元组批量与其要连接的时间滑动窗口内的元组进行连接，将完成连接的元组批量删除，将未完成连接的元组批量插入到其对应的时间滑动窗口中；从而大大减少了对时间滑动窗口加锁和解锁操作次数；将缓冲区未完成连接的元组插入到其对应的时间滑动窗口时用顺序存储链表存储元组在时间滑动窗口中的位置，顺序存储链表的头结点中存储该缓冲区的开辟时间，避免查找时间滑动窗口中过期数据时对整个时间窗口进行遍历，只需对顺序存储链表头结点进行遍历，即可找到时间滑动窗口中一批过期元组，降低了运算量，提高了效率。
-
公开(公告)号：CN103309966A
公开(公告)日：2013-09-18
申请号：CN201310219213.9
申请日：2013-06-04
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
Abstract: 本发明涉及基于时间滑动窗口的数据流点连接查询方法，该方法将一定时间内到来的数据流的元组存入缓冲区，进而对缓冲区内的元组批量与其要连接的时间滑动窗口内的元组进行连接，将完成连接的元组批量删除，将未完成连接的元组批量插入到其对应的时间滑动窗口中；从而大大减少了对时间滑动窗口加锁和解锁操作次数；将缓冲区未完成连接的元组插入到其对应的时间滑动窗口时用顺序存储链表存储元组在时间滑动窗口中的位置，顺序存储链表的头结点中存储该缓冲区的开辟时间，避免查找时间滑动窗口中过期数据时对整个时间窗口进行遍历，只需对顺序存储链表头结点进行遍历，即可找到时间滑动窗口中一批过期元组，降低了运算量，提高了效率。
-
-
-
Search Results
4
records
(took 0.03 seconds)
