一种数据处理流程的调度方法

摘要

本发明公开了一种数据处理流程的调度方法，按照数据处理任务中基本数据处理操作的执行顺序连接各个计算节点，形成一个数据处理流程；读取数据处理流程所需的外部输入数据；通过流程调度，对各个计算节点进行调度执行。本发明可以适用于不同的数据处理流程，具有很好的调度效率，模型清晰简捷，便于实际实现。

主权项

一种数据处理流程的调度方法，其特征在于包括下述步骤：1)按照数据处理任务中基本数据处理操作的执行顺序连接各个计算节点，形成一个数据处理流程；所述的数据处理任务是由连续的基本数据处理操作组成，基本数据处理操作用来完成基本的算术运算、逻辑运算、条件运算和数值计算，每种基本数据处理操作由一个计算节点来完成；所述的计算节点的功能是读取外部输入数据，经过内部基本数据处理操作，得到结果数据；2)读取数据处理流程所需的外部输入数据；3)通过流程调度，对各个计算节点进行调度执行，具体包括以下步骤：a)创建一个空的变长队列，把数据处理流程的开始节点的所有后继节点放入队列中，所述的后继节点是在数据处理流程中执行顺序在其之后的相邻节点；b)从队列中，按先进先出的方式或基于优先级的方式选取一个节点；c)执行此节点内部的数据处理操作，完成后将此节点从队列中移出；d)若此节点有后继节点，继续执行下一步；否则，转步骤f)；e)将数据处理结果传递给此节点的所有后继节点，每传递一次数据，判断此数据的后继节点是否其所有输入数据都已经到达；若是，则将此后继节点装入队列；否则，不将其放入队列；数据全部传完后，转步骤b)；f)判断队列是否为空，若是，数据处理流程执行结束；否则，转步骤b)。