一种用于大规模分布式数据处理的系统及其方法

摘要

本发明涉及计算机应用技术领域，特别涉及到一种大规模分布异构数据处理的系统及其方法。本发明的系统由客户端、服务端以及元数据库三个部分构成；客户端主要提供数据访问的API，该引擎提供了增删查改四个访问接口；服务端由多个对等的服务节点组成，每个节点都提供相同的服务，可以独立的接收并处理用户的访问请求。服务节点包括六大部件：请求解析器、元数据管理器、任务解析器、任务优化器、任务调度器以及任务执行器；元数据库负责存储虚拟表的定义、虚拟表之间的关系、字段的映射关系。本发明提供了一种大规模分布异构数据处理的系统和方法，可以用于大规模分布异构数据处理上。

主权项

一种用于大规模分布异构数据处理的系统，其特征在于：所述系统由客户端、服务端以及元数据库三个部分构成；所述的客户端主要提供数据访问的API，包括增删查改四个访问接口；所述的服务端由多个对等的服务节点组成，每个节点都提供相同的服务，可以独立的接收并处理用户的访问请求；所述的元数据库负责存储虚拟表的定义、虚拟表之间的关系、字段的映射关系；服务节点包括请求解析器、元数据管理器、任务解析器、任务优化器、任务调度器和任务执行器六大部件；所述的请求解析器负责解析用户的数据请求，根据虚拟表的引用关系构建解析计划树；所述的元数据管理器，封装了对元数据库的访问接口，通过这些接口可以访问到虚拟表的定义、虚拟表之间的关系、字段的映射关系；所述的任务解析器，根据解析计划树构建执行路径，每个执行路径也是一棵树，树的每个节点表示一个处理子任务；所述的任务优化器根据任务的特点和系统当前的运行状况对执行路径进行优化，以提高处理效率；所述的任务调度器根据执行路径中任务的依赖关系负责调度任务的执行，决定哪些任务可以并行，哪些需要串行；所述的任务执行器执行任务并准备好处理后的结果数据集。