任务处理方法和分布式计算框架

摘要

本申请公开了任务处理方法和分布式计算框架。该方法的一具体实施方式包括：解析分布式计算任务对应的表达式，构建分布式计算任务对应的任务描述信息，任务描述信息用于描述算子与分布式数据集的对应关系，其中，算子作用于分布式数据集和/或对分布式数据集进行分组之后得到的分布式数据集；基于任务描述信息，确定算子所作用于的分布式数据集；利用算子对算子所作用于的分布式数据集进行分布式计算。实现了在分布式计算中，构建拓扑结构描述算子的作用范围以及嵌套关系，同一算子可同时作用在分布式数据集和对分布式数据集分组之后得到的分布式数据集，从而描述出不同计算需求的分布式计算任务。

主权项

一种任务处理方法，其特征在于，所述方法包括：解析分布式计算任务对应的表达式，以及构建分布式计算任务对应的任务描述信息，所述任务描述信息用于描述算子与分布式数据集的对应关系，其中，所述算子作用于分布式数据集和/或对所述分布式数据集进行分组之后得到的分布式数据集；基于所述任务描述信息，确定所述算子所作用于的分布式数据集；利用所述算子对所述算子所作用于的分布式数据集进行分布式计算。