一种数据流程的处理方法和系统

摘要

一种数据流程的处理方法，基于逻辑上能够互联互通的节点形成的网络，该方法将一个任务对应的数据处理流程划分为多个并行数据处理子流程，以及确定所述数据处理流程涉及的节点，在所述数据处理流程的源节点和目的节点之间，为每一个数据处理子流程创建对应的数据管道，所述节点按照数据处理子流程的顺序，利用对应的数据管道完成每一个数据处理子流程的数据处理操作。该方法能够最大限度地提高数据处理子流程的并行程度，加速数据流程的处理，降低节点缓存数据所需的存储空间。本发明还提供一种数据流程的处理系统。

主权项

一种数据流程的处理方法，基于逻辑上能够互联互通的节点形成的网络，其特征在于：将一个任务对应的数据处理流程划分为多个并行数据处理子流程，以及确定所述数据处理流程涉及的节点；在所述数据处理流程的源节点和目的节点之间，为每一个数据处理子流程创建对应的数据管道；所述节点按照数据处理子流程的顺序，利用对应的数据管道完成每一个数据处理子流程的数据处理操作；所述数据是能够独立处理的最小数据元组；其中，所述方法还包括：将每一个数据处理子流程待处理的数据通过对应的管道读入到本地存储器暂存，以及，在每一个数据处理子流程的数据处理结果输出前将所述结果暂存到本地存储器；节点判断本地的数据处理能力是否超过指定阀值，如果超过，选择本节点的分流节点，为所述分流节点分配数据处理任务涉及的能够分流的数据处理子流程，在本节点和分流节点之间，以及在分流节点和目的节点之间，为能够分流的数据处理子流程创建对应的数据管道，所述分流节点按照数据处理子流程的顺序，利用对应的数据管道完成每一个数据处理子流程的数据处理操作。