数据处理方法、节点和提取、转换和加载ETL系统

摘要

本发明实施例提供一种数据处理方法、节点和提取、转换和加载ETL系统。一种方法包括：前置节点从源数据源中获取待处理数据对应的多个文件的文件名和存储路径；所述前置节点将所述多个文件的文件名和存储路径均衡地分发给网络中的多个提取、转换和加载ETL处理节点中的各ETL处理节点，以使所述各ETL处理节点根据收到的所述存储路径从所述源数据源中获取与收到的所述文件名对应的文件中的待处理数据。本发明实施例，提高ETL系统的处理海量数据的能力。

主权项

一种数据处理方法，其特征在于，包括：前置节点从源数据源中获取待处理数据对应的多个文件的文件名和存储路径；所述前置节点将所述多个文件的文件名和存储路径均衡地分发给网络中的多个提取、转换和加载ETL处理节点中的各ETL处理节点，以使所述各ETL处理节点根据收到的所述存储路径从所述源数据源中获取与收到的所述文件名对应的文件中的待处理数据。