在基于图的计算中的计算资源管理

摘要

一种执行基于图的计算，包括：接受计算图的规范，在所述计算图中，数据处理元素通过链接元素来结合；将数据处理元素划分成集，所述集之中的至少一个集包括多个数据处理元素；对每个集分配不同的计算资源；以及根据所述计算图来处理数据，包括使用所分配的计算资源执行与所述数据处理元素对应的计算。

主权项

一种用于使用计算机系统来执行基于图的计算的方法，其中所述计算机系统提供能够被分配给多个数据处理元素并被用于执行多个计算的计算资源，该方法包括：接受计算图的规范，在所述计算图中多个数据处理元素通过多个链接元素来结合，其中每个所述链接元素与由上行数据处理元素的输出到下行数据处理元素的输入的数据流相关联；确定每个数据处理元素是可合并的还是不可合并的，其中所有可合并的数据处理元素包括用于调用所述可合并的数据处理元素的相应的多个计算的计算机接口，所有不可合并的数据处理元素不包括用于调用所述不可合并的数据处理元素的相应的多个计算的计算机接口；将多个所述可合并的数据处理元素划分成一个或多个数据处理元素的集，所述集之中的至少一个集包括多个可合并的数据处理元素；对每个数据处理元素的集分配所述计算机系统的不同的计算资源；以及根据所述计算图来处理数据，包括使用所分配的计算资源来执行与所述多个数据处理元素对应的多个计算，其中分配给所述多个数据处理元素的一个集的所述多个计算资源之一通过调用与所述可合并的数据处理元素相关联的函数来传递多个工作元素，所述多个工作元素与从第一可合并的上行数据处理元素的输出到下行可合并的数据处理元素的输入而获得的数据流相关联，其中所述第一上行可合并的数据处理元素与所述下行数据处理元素在所述多个数据处理元素的同一个集之中。