一种面向数据流处理的弹性可扩展资源管理方法及系统

摘要

发明涉及一种面向数据流处理的弹性可扩展资源管理方法及系统，包括本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况，周期性地向给弹性管理器发送监控报告；所述弹性管理器分析所有本地管理器发送来的监控报告，当发现某一子集群中的某个执行实例出现负载问题时，生成相应的负载均衡策略，启动窗口重构协议或状态重构协议，重新确定上游相关执行实例原来将要发送给出现负载问题的执行实例的元组的去向；本发明所述系统需要具有可扩展性，即可根据当前的数据流负载情况，动态增加、减少节点数量或者在已有节点间均衡负载输入，以实现在保证服务质量的前提下提高资源的利用率。

主权项

一种面向数据流处理的弹性可扩展资源管理方法，其特征在于，包括如下步骤：步骤101：子集群的每个执行实例内的本地管理器实时监控其对应的执行实例的资源利用率和输入负载情况，周期性地向给弹性管理器发送监控报告；步骤102：所述弹性管理器分析所有本地管理器发送来的监控报告，当发现某一子集群中的某个执行实例出现负载问题时，启动窗口重构协议或状态重构协议，向上游相关执行实例发送重配置启动命令；步骤103：上游相关的执行实例根据重配置启动命令执行相应的重构协议，重新确定原来将要发送给出现负载问题的执行实例的元组的去向；步骤104：弹性管理器进行负载均衡时，需要和资源管理器进行信息交互，实现对出现负载问题的子集群的执行实例进行分配调度。