基于增量式分区策略的MapReduce数据均衡方法

摘要

本发明提出了基于增量式分区策略的MapReduce数据均衡方法。具体为首先在Map端产生多于Reducer个数的微分区，微分区的负载统计被持续收集并且发送给决策者，在每一个决策点，优化的马尔科夫模型在未被分配的微分区中自动进行分区选择，然后利用分配算法将选中的微分区分配到各Reducer上；依照此方法，经过多次分区选择和分配，最终在执行Reduce函数前，将所有微分区分配到Reduce端，该方法使得数据划分更加均衡，有效避免了数据倾斜所带来的负载不均衡问题。

主权项

一种基于增量式分区策略的MapReduce数据均衡方法，其特征在于步骤如下：步骤1：确定一系列的决策点，在每一个决策点t使用优化的马尔科夫决策模型(S,A,P,R_at(s_t,s_t+1),γ)对在Map端产生的N个微分区进行自动分区，其中N>M，M为Reducer个数；决策点的确定：以第一个Mapper完成时刻为第一个决策点，运行到最后一个Mapper的α时刻为最后一个决策点，中间的决策点采用等分原则；所述的马尔科夫决策模型(S,A,P,R_at(s_t,s_t+1),γ)：S是状态的有限集，A是行动的有限集，行动是自动选择前k个微分区，P是状态转换概率的集合，γ是代表现在和将来报酬拥有不同的重要性的折扣因素，为报酬函数；其中W是微分区的总量，是在决策点t已分配的微分区的总量，N是微分区的总个数，是在决策点t以后未分配的微分区的总个数；步骤2：采用LPT算法对步骤1中的分区进行分配，将并行代价的目标函数的作为LPT算法的输出：所述的并行代价的目标函数：$\min \underset{j}{max}\left\{L_j^f\right\}$$\begin{array}{ccc}s.t.& \left(1\right)---\forall 1\le i\le h,\underset{1\le j\le M}{\Sigma }{x}_{ij}=1& \left(2\right)---\forall 1\le i\le M,L_j=L_j+\underset{i}{\Sigma }(x_{ij}·e_i^c)\end{array}$其中，L_j为给第j个Reducer分配的初始负载，为第j个Reducer被分配微分区后的负载，h为在决策点t之前未被分配的微分区总个数，x_ij为P_u中的微分区到Reducer的映射，P_u为在决策点t之前未被分配的微分区集合，如果第i个微分区被分配到第j个Reducer则x_ij＝1，否则x_ij＝0；指在P_u中第i个微分区预估的数量，指被分配到第j个Reducer上的微分区的总量。