一种面向数据流处理的弹性可扩展资源管理方法及系统

    公开(公告)号:CN103634394B

    公开(公告)日:2016-08-17

    申请号:CN201310618731.8

    申请日:2013-11-28

    Abstract: 本发明涉及一种面向数据流处理的弹性可扩展资源管理方法及系统,包括本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况,周期性地向给弹性管理器发送监控报告;所述弹性管理器分析所有本地管理器发送来的监控报告,当发现某一子集群中的某个执行实例出现负载问题时,生成相应的负载均衡策略,启动窗口重构协议或状态重构协议,重新确定上游相关执行实例原来将要发送给出现负载问题的执行实例的元组的去向;本发明所述系统需要具有可扩展性,即可根据当前的数据流负载情况,动态增加、减少节点数量或者在已有节点间均衡负载输入,以实现在保证服务质量的前提下提高资源的利用率。

    一种面向数据流处理的弹性可扩展资源管理方法及系统

    公开(公告)号:CN103634394A

    公开(公告)日:2014-03-12

    申请号:CN201310618731.8

    申请日:2013-11-28

    Abstract: 本发明涉及一种面向数据流处理的弹性可扩展资源管理方法及系统,包括本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况,周期性地向给弹性管理器发送监控报告;所述弹性管理器分析所有本地管理器发送来的监控报告,当发现某一子集群中的某个执行实例出现负载问题时,生成相应的负载均衡策略,启动窗口重构协议或状态重构协议,重新确定上游相关执行实例原来将要发送给出现负载问题的执行实例的元组的去向;本发明所述系统需要具有可扩展性,即可根据当前的数据流负载情况,动态增加、减少节点数量或者在已有节点间均衡负载输入,以实现在保证服务质量的前提下提高资源的利用率。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901B

    公开(公告)日:2016-01-20

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

    一种面向数据流处理的元组跟踪方法及系统

    公开(公告)号:CN103346901A

    公开(公告)日:2013-10-09

    申请号:CN201310227114.5

    申请日:2013-06-07

    Abstract: 本发明涉及一种面向数据流处理的元组跟踪方法及系统,该系统包括元组生成器、元组跟踪器和若干个元组处理器,元组生成器生成根元组并处理产生新的元组,然后,将新的元组发送给不同的元组处理器,元组处理器对接收的元组进行处理产生新的元组,每个根元组经过处理后会产生一个元组树,在每个元组树生成过程中,元组生成器向元组跟踪器发送该根元组的相关信息,供元组跟踪器构建该根元组的跟踪记录,元组跟踪器为每个根元组选择一个元组跟踪单元;每个元组处理器处理元组的过程中向元组跟踪器发送元组的相关信息来对跟踪记录的标识位进行更新,本发明可以实现大大降低内存开销,实现元组跟踪单元的负载均衡,提高元组处理的可靠性。

Patent Agency Ranking