面向数据库与Hadoop混合平台的OLAP查询处理方法

摘要

本发明公开了一种面向数据库与Hadoop混合平台的OLAP查询处理方法。该方法以Hadoop的多复本容错机制为基础，在进行OLAP查询处理时，首先在主工作复本上执行，并将查询处理结果记录于本地数据库的聚集结果表中；当工作节点出现故障时，通过namenode查找主工作复本对应的容错复本的节点信息，并调用MapReduce任务在容错复本上完成OLAP查询处理任务。本发明将数据库技术与Hadoop技术相结合，以双存储引擎、双查询处理引擎的方式将数据库的存储性能和Hadoop的高可扩展性、高可用性进行结合；利用主-从式复本管理机制将数据库查询处理与MapReduce查询处理以松散耦合的方式进行集成，既保证了高查询处理性能，又保证了高容错性能。

主权项

一种面向数据库与Hadoop混合平台的OLAP查询处理方法，基于反转星型存储结构实现，所述反转星型存储结构将维表集中存于中心节点，事实表按Hadoop分布式文件系统的数据分布策略分布在工作节点上，其特征在于：以Hadoop的多复本容错机制为基础，将事实表存储于数据库集群中，设置所述事实表的主工作复本和至少一个容错复本，并将主工作复本导入到工作节点本地的数据库中，按统一命名规则为该主工作复本对应的表进行命名；删除在Hadoop分布式文件系统中的主工作复本，并将namenode中主工作复本的元信息更新为本地数据库的JDBC连接和该主工作复本对应的表名称；在进行OLAP查询处理时，首先在所述主工作复本上执行，并将查询处理结果记录于本地数据库的聚集结果表中；当查询处理过程中工作节点出现故障时，由数据库集群完成部分数据集上的OLAP查询处理任务，根据故障节点号从namenode中查找该工作节点中主工作复本对应的容错复本的存储节点，并调用MapReduce任务在所述容错复本上完成OLAP查询处理任务；最后，将数据库集群的OLAP查询处理结果与所述MapReduce任务的OLAP查询处理结果进行归并，返回给用户最终的查询处理结果。