一种数据抽取、转换及装载的方法

摘要

一种数据抽取、转换及装载的方法，包括转换的过程步骤，数据源组装的过程步骤，规定数据流向的过程步骤，执行顺序连线的过程和指定任务设置执行条件的步骤。本发明设有两种脚本文件，转换和工作，转换完成针对数据的基础转换，工作则完成整个工作流的控制。解决大规模数据分析利用不能快速响应业务的变化、数据复用程度低、技术和业务混杂、以及分析效率和交付质量不高的问题。

主权项

一种数据抽取、转换及装载的方法，其特征在于，包括如下的步骤：步骤一：转换的过程中，在windows环境下，首先会调用初始化的批处理配置文件，连接验证、环境设置、检查，调用JAVA数据库连接驱动的应用程序接口文件包，并向JAVA数据库连接驱动中传入数据库连接信息和参数，开启数据传输，关闭数据传输协议，写入日志；步骤二：数据源组装的过程,将一个或者多个不同的数据源组装成一条流水线，最终输出到一个文件或数据库，通过调度所述转换步骤，执行文件处理、上传下载文件、发送邮件、执行命令； 步骤三：规定数据流向的过程，转换顺序：规定输入、转换和输出操作的数据流向；步骤四：执行顺序连线的过程，连接数据转换的脚本文件、控制工作流的脚本文件，执行步骤。