一种针对DB2数据仓库进行数据抽取、调度及展现的方法

摘要

本发明公开了一种针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：用户根据数据仓库的数据模型，和业务逻辑，利用IBM工具快速生成存储过程；然后利用Powercenter工具快速开发出调度任务，对存储过程进行调度；对调度生成的目标表，利用cognos多维cube刷新命令设计出脚本进行自动调度和管理系统两种互为补足的刷新方式，实现刷新数据的及时展现。本发明充分利用了多款工具的特性并将他们相结合，实现了数据抽取、调度和展现的快速实现，提高了工作效率。

主权项

一种针对DB2数据仓库进行数据抽取、调度及展现的方法，其特征在于包括以下步骤：(1)用户根据数据仓库的数据模型和业务逻辑，利用IBM客户端工具Design Studio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将获得的SQL语句填充到预先设计好的存储过程模版中；(2)利用Powercenter工具开发ETL系统调度任务，对生成的存储过程利用Powercenter工具进行调度，生成目标表；所述ETL系统调度4级从上往下进行逐级管理控制，顶级是ETL系统总体控制，对源系统SSA、层SOR、BML、DM这4层进行逐层管理调度，第二级是层控制，用于每层的总体控制，第三级是域控制，用于在每层中按数据抽取任务的业务类型进行按域分类控制，第四级即是详细的数据抽取任务，由Session和Procedure组成；(3)对调度生成的目标表，利用cognos多维cube刷新命令进行数据刷新实现数据展现，包括以下子步骤：首先，通过对cube信息表的扫描，获得需要刷新的cube信息，根据扫描结果自动生成并行脚本；其次，根据cube等级信息，分成1、2、3、4等级；等级1并行数为1，等级2并行数为2，以此类推；再次，根据等级生成并行脚本，对于等级1生成一个执行脚本LEVEL10.sh串行存入等级为1的cube刷新脚本；对于等级2生成两个执行脚本LEVEL20.sh和LEVEL21.sh，分别向这两个脚本中存入等级为2的cube刷新脚本；对于等级3生成三个执行脚本LEVEL30.sh、LEVEL31.sh和LEVEL32.sh,分别向这三个脚本中存入等级为3的cube刷新脚本；对于等级4生成四个执行脚本LEVEL40.sh、LEVEL41.sh、LEVEL42.sh和LEVEL43.sh，分别向这四个脚本中存入等级为4的cube刷新脚本；将不同等级执行脚本存入不同目录中；最后，并行执行每个目录中的脚本，各个目录执行顺序串行，实现：LEVEL40.sh～LEVEL43.sh并行，LEVEL30.sh～LEVEL32.sh并行，LEVEL20.sh～LEVEL21.sh并行，LEVEL10.sh；(4)如果自动调度失败，通过短信通知管理员，由管理员使用WEB界面的管理系统刷新，实现刷新数据的及时展现。