发明名称 资料萃取、转换及载入方法
摘要 本发明提供一种资料萃取、转换及载入(ETL)方法,藉由将资料转换过程中之执行状态、异常状况记录于相对之资料表中,而可进行资料转换之状态追踪、异常记录、警告及资料清理。其中,使用了三个资料表分别储存执行状态、异常记录及清理记录,更使用了六个PL/SQL之工具物件来进行上述三个资料表之维护与更新动作。如此提高了整个系统之可靠性与效能。
申请公布号 TWI275995 申请公布日期 2007.03.11
申请号 TW091110274 申请日期 2002.05.16
申请人 台湾积体电路制造股份有限公司 发明人 梁世宗;简久芳
分类号 G06F9/44(2006.01) 主分类号 G06F9/44(2006.01)
代理机构 代理人 洪澄文 台北市大安区信义路4段279号3楼;颜锦顺 台北市大安区信义路4段279号3楼
主权项 1.一种资料萃取、转换及载入方法,使用一ETL程式 物件自一第一资料库中萃取一来源资料表中之资 料以进行转换而载入至一第二资料库中,包括以下 步骤: 建立一第一、第二及第三资料表; 当该些ETL程式物件进行资料转换时,将该资料所属 之该来源资料表中之一主要栏位名称储存于该第 一资料表中; 当该些ETL程式物件进行该资料之转换而发生异常 时,在该第二资料表中储存发生异常之该ETL程式物 件名称、一发生时间及该资料所属之来源资料表 之一名称,并依据该第一资料表中储存之该主要栏 位名称,将该栏位中之一数値储存于该第二资料表 ; 在该第三资料表中定义一清理资料表;以及 依据该清理资料表清除该第一资料库中之资料并 在该第三资料表中储存该被清除资料之ETL程式物 件名称、该ETL程式物件之来源资料表、该来源资 料表中之主要栏位名称及清除时间。 2.如申请专利范围第1项所述之资料萃取、转换及 载入方法,其中该第一资料库系一缓冲资料区。 3.如申请专利范围第1项所述之资料萃取、转换及 载入方法,其中该第二资料库系一操作资料储存区 。 4.如申请专利范围第1项所述之资料萃取、转换及 载入方法,其中,该主要栏位名称包括执行转换之 该ETL程式物件名称、该ETL程式物件所属之一主指 标题、该ETL程式物件使用之一来源资料表名称、 一执行频率、一完成转换时间、该转换资料之一 记录时间及该ETL程式物件之一执行顺序。 5.如申请专利范围第1项所述之资料萃取、转换及 载入方法,其中更包括以下步骤: 当该些ETL程式物件进行该资料之转换而发生异常 时,在该第二资料表中储存该资料之来源资料表名 称、一错误代码、错误讯息及异常型态。 图式简单说明: 第1图显示了传统资料萃取、转换及载入方法之示 意图; 第2图显示了本发明一实施例中之ETL架构; 第3图显示了本发明一实施例中资料萃取、转换及 载入方法之流程图。
地址 新竹市新竹科学工业园区园区三路121号