发明名称 | 数据仓库调度方法及调度系统 | ||
摘要 | 一种数据仓库调度方法,用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据,包括以下步骤:(1)预先建立保存每一节点之依赖关系的节点关系表,所述依赖关系至少包括所述节点的所有前置节点;(2)预先建立用于保存每一节点当前状态的节点池记录表;(3)节点分配器定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系,找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点,放入待处理池;(4)数据处理单元不间断地进行节点执行操作,直至待处理池中不再出现节点;每一节点执行操作包括:从待处理池中取出若干个节点,执行每一节点,并把执行的结果保存至节点池记录表中该节点的当前状态。 | ||
申请公布号 | CN101685452A | 申请公布日期 | 2010.03.31 |
申请号 | CN200810168565.5 | 申请日期 | 2008.09.26 |
申请人 | 阿里巴巴集团控股有限公司 | 发明人 | 罗立森 |
分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
代理机构 | 上海开祺知识产权代理有限公司 | 代理人 | 费开逵 |
主权项 | 1、一种数据仓库调度方法,用于通过对节点的执行来完成根据数据源中的数据同步/刷新数据仓库中的数据,其特征在于,包括以下步骤:(1)预先建立保存每一节点之依赖关系的节点关系表,所述依赖关系至少包括所述节点的所有前置节点;(2)预先建立用于保存每一节点当前状态的节点池记录表;(3)定期查询节点池记录表中的节点的当前状态和节点关系表中节点的依赖关系,找出所有前置节点的当前状态为已完成的节点或没有前置节点的节点,放入待处理池;(4)不间断地进行节点执行操作,直至待处理池中不再出现节点;每一节点执行操作包括:从待处理池中取出若干个节点,执行每一节点,并把执行的结果保存至节点池记录表中该节点的当前状态。 | ||
地址 | 英属开曼群岛大开曼岛资本大厦一座四层847号邮箱 |