分布式预处理方法和系统

摘要

本发明公开了一种分布式预处理的方法及系统，其中，该方法包括：处理节点接收自源节点发送的数据；管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序；处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。本发明的分布式预处理方法和系统，可以动态、灵活地管理Process节点的预处理过程，管理执行模块集合，保证Process节点预处理过程的一致性和原子性；系统保证了Process节点的多个执行模块的预处理中间结果都在内存中处理，不需要临时存储，提高了预处理性能。

主权项

一种分布式预处理方法，其特征在于，包括：处理节点接收自源节点发送的数据；管理模块根据所述处理节点的不同需求配置执行模块的种类和执行顺序；所述处理节点调用自身部署的由所述管理模块配置的包含有多个执行模块的执行模块集合对接收的所述数据进行预处理操作。