基于键值分布的跨数据中心大数据处理

摘要

本发明提出了一种基于键值分布的跨数据中心（DC）大数据处理系统和方法，首先基于G-Hadoop和G-MR提出了一种新的架构，新增了一个用于收集DC相关信息以及key的分布信息的ResourceManager模块，该系统能对每个DC的输出进行抽样，从而得到近似的key分布并估算每个Reducer分配到的数据量，存储到ResourceManager模块；然后利用ResourceManager模块中存储的信息，本发明提出的二层分组遗传算法TLGGA，为每个reducer寻找目标DC。其中，TLGGA中初始种群的生成分别针对三个目标，即电价，物力资源和传输代价；TLGGA采用了局部优化的技巧，加快了算法的收敛。

主权项

一种基于键值分布的跨数据中心大数据处理系统，其特征在于，所述系统包括HigherJobTracker模块、CopyerManager模块、Copyer模块、JobTracker模块、TaskTracker模块和ResourceManager模块；其中，所述ResourceManager模块，用于收集DC相关信息以及key的分布信息；所述系统的工作流程为：工作首先被提交到所述HigherJobTracker模块，如果发现工作需要多个DC的数据作为输入，则HigherJobTracker模块要求相关DC的JobTrackers模块来对每个DC的数据进行抽样；在一小部分数据被map后，所述HigherJobTracker模块就能对每个DC的输出进行估算，从而得到近似的key分布，并估算每个Reducer分配到的数据量；reducer的配置被估计以便和它需要处理的数据量相称，以免有的reduce任务拖延过长而增加整个job的时延；这个结果被送到ResourceManager模块；本地数据的map操作将会继续；同时，调用遗传算法GA，利用ResourceManager模块中存储的信息，GA算法为每个reducer寻找目标DC；得到reducer部署方案后，HigherJobTracker模块开始让CopyManager模块将map输出拷贝到目标DC，其中，具体的拷贝工作由每个目标DC内的Copyer模块完成。