流计算系统中的数据处理方法、控制节点及流计算系统

摘要

本发明公开了一种流计算系统中的数据处理方法、控制节点及流计算系统，该方法包括：收集每个工作节点与其它工作节点之间的数据流量信息和每个工作节点的处理速度信息；根据收集到的数据流量信息和处理速度信息确定每个工作节点的优化并发度；根据工作节点的优化并发度对工作节点的并发度进行调整。本发明公开的方法和装置根据流计算系统中的实时数据对工作节点的并发度进行实时调整，使得工作节点的处理能力能够符合业务处理的实时需求。

主权项

一种流计算系统中的数据处理方法，所述流计算系统包括控制节点和多个工作节点，其特征在于，该方法包括：所述控制节点根据配置的各个工作节点的并发度，调用所述多个工作节点中的一个或多个工作节点对数据流进行处理；所述控制节点收集所述一个或多个工作节点中每个工作节点与其它工作节点之间的数据流量信息和所述一个或多个工作节点中每个工作节点的处理速度信息；所述控制节点根据收集到的数据流量信息和处理速度信息确定所述一个或多个工作节点中的每个工作节点的优化并发度；所述控制节点分别确定所述一个或多个工作节点中的每个工作节点的优化并发度与该工作节点的并发度是否相同，如果不相同，则按照该工作节点的优化并发度对该工作节点的并发度进行调整。