基于ETL工具的日志收集方法

摘要

本发明提供基于ETL工具的日志收集方法，使用FTP收集日志，在业务设备的数据源没有问题的前提下，能保证日志数据的准确与一致性。采用ETL工具完成对日志数据下载、转换、上传整个工作流的控制，任何步骤出现问题都可以随时发出错误警告，如果日志文件下载失败可以设立重试机制。如果ETL工具或者FTP异常导致日志数据丢失，数据的恢复方便。能够自动化、定时处理整个工作流。

主权项

基于ETL工具的日志收集方法，其特征在于，所述的方法包括：设置全局变量；判断是否存在表格前缀标识符，如果存在则拼接表格前缀标识符和表格名称；删除成功标识符；收集各个业务设备的日志文件；生成成功标识符。