ETL数据处理过程的监控方法及其系统

摘要

本申请公开了一种ETL数据处理的监控方法及其系统，该方法包括如下步骤：根据ETL数据处理任务信息，确定ETL数据处理过程的输出数据的字段类型；根据输出数据的字段类型，生成所述ETL数据处理过程的监控指标，所述监控指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；根据生成的监控指标，对所述ETL数据处理过程的输出数据中的相应字段进行统计或运算，得到监控指标的结果值。采用本申请，可解决现有技术中的ETL数据处理过程的监控方法效率低以及准确性差的问题。

主权项

一种ETL数据处理的监控方法，其特征在于，包括如下步骤：解析ETL数据处理任务信息，得到该ETL数据处理任务所指示出的输出数据表的标识信息；通过查询用于描述该标识信息所对应的输出数据表的元数据信息，获得该输出数据表中各字段的字段类型信息；根据输出数据的字段类型，生成所述ETL数据处理过程的监控指标，所述监控指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；根据生成的监控指标，对所述ETL数据处理过程的输出数据中的相应字段进行统计或运算，得到监控指标的结果值；其中，根据输出数据的字段类型，生成所述ETL数据处理过程的监控指标，包括以下之一或任意组合：针对具有总量统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值进行累加；针对具有平均值统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值求平均值。