用于动态加载基于图的计算的系统和方法

摘要

处理数据包括：接收作业单元，每个作业单元包括一个或多个作业元素，以及响应于接收第一作业单元使用加载到数据处理系统（100）中的第一编译后的数据流图（160）处理第一作业单元。处理包括：分析以便确定第一作业单元的特征；从存储在包括至少一些被编译的编译后的数据流图的数据存储系统（107）中识别一个或多个编译后的数据流图用于处理具有确定的特征的作业单元；将识别的编译后的数据流图中的一个作为第一编译后的数据流图（160）加载到数据处理系统（100）；以及从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。

主权项

一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：接收多个作业单元，每个作业单元包括一个或多个作业元素；以及使用响应于接收第一作业单元加载到数据处理系统中的第一编译后的数据流图处理所述作业单元的第一个，该第一编译后的数据流图已被编译为代表第一数据流图的一个或多个数据结构，该第一数据流图包括通过代表数据处理组件之间的作业元素的流的链接连接的代表数据处理组件的节点，该处理包括(a)分析第一作业单元以便确定第一作业单元的特征，(b)在接收到第一作业单元之前，从存储在包括至少一些被编译的编译后的数据流图的数据存储系统中的多个编译后的数据流图识别一个或多个编译后的数据流图，用于处理具有第一作业单元的确定的特征的作业单元，(c)在接收到第一作业单元之前，将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到数据处理系统正在执行的第二数据流图中，以及(d)使用第一数据流图从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。