基于P2P构架的MapReduce任务跨数据中心调度系统及方法

摘要

本发明公开了一种基于P2P架构MapReduce任务跨数据中心的调度系统，其特征在于，各数据中心的资源管理器均包含一个P2P代理模块Proxyer，用于各数据中心之间建立P2P对等架构的联邦式任务调度机制；客户端通过Submitter提交MapReduce任务请求，并选择确定本次任务的主数据中心资源管理器，主资源管理器根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度，为跨数据中心的MapReduce任务提供统一入口，有效实现了各数据中心的数据和计算资源共享。

主权项

一种基于P2P架构的MapReduce任务跨数据中心调度系统，其特征在于，包括一个客户端、n个数据中心，各数据中心均有一个资源管理器和多个节点管理器，其中各数据中心的资源管理器与客户端之间采用广域网链接，各数据中心的资源管理器之间采用广域网链接，各数据中心的资源管理器与节点管理器之间由局域网链接；各数据中心的资源管理器均包含一个P2P代理模块Proxyer，通过该Proxyer，使各数据中心的资源管理器组成一个P2P对等架构；各数据中心的资源管理器都能接收来自客户端的MapReduce任务请求，成为主资源管理器，并根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派；被分派任务的资源管理器就成为本次MapReduce任务的执行资源管理器；各数据中心的资源管理器将本中心的任务和资源信息同步至其他数据中心的资源管理器中；所述客户端包含有一个MapReduce任务多途径提交模块Submitter：用于与各数据中心的资源管理器交互，客户端通过该Submitter的选择确定本次任务的数据中心主资源管理器，并提交MapReduce任务请求，同时实时从主资源管理器获取任务执行状态。