发明名称 |
一种MapReduce系统中的数据采样和划分方法 |
摘要 |
本发明涉及一种MapReduce系统中的数据采样和划分方法,其步骤包括:1)客户端向MapReduce系统中提交任务请求,所述MapReduce系统中的主控节点将Map任务划分成采样和普通任务,所述主控节点Master将采样任务优先下发到各个分节点Worker进行执行;2)根据各个分节点Worker上的Map采样任务筛选出样本集合,并将样本上传至主控节点Master进行合并;3)所述主控节点Master根据Map采样任务结果得到Reduce任务工作量,对Reduce任务划分键值区间,实现负载均衡,完成采样和划分。在存在数据倾斜的应用场景下,本发明可以较大幅度地提高整个MapReduce任务的执行效率,本发明的数据采样和划分算法对于原有MapReduce系统带来的额外开销较小,在数据分布比较均匀的应用场景下基本上不影响原系统的执行效率。 |
申请公布号 |
CN102799486A |
申请公布日期 |
2012.11.28 |
申请号 |
CN201210205841.7 |
申请日期 |
2012.06.18 |
申请人 |
北京大学 |
发明人 |
姚金宇;陈琪;肖臻 |
分类号 |
G06F9/50(2006.01)I;H04L29/08(2006.01)I |
主分类号 |
G06F9/50(2006.01)I |
代理机构 |
北京君尚知识产权代理事务所(普通合伙) 11200 |
代理人 |
余长江 |
主权项 |
一种MapReduce系统中的数据采样和划分方法,其步骤包括:1)客户端向MapReduce系统中提交任务请求,所述MapReduce系统中的主控节点将Map任务划分成采样和普通任务,所述主控节点Master将采样任务优先下发到各个分节点Worker进行执行;2)根据各个分节点Worker上的Map采样任务筛选出样本集合,并将样本上传至主控节点Master进行合并;3)所述主控节点Master根据Map采样任务结果得到Reduce任务工作量,对Reduce任务划分键值区间,实现负载均衡,完成采样和划分。 |
地址 |
100871 北京市海淀区颐和园路5号北京大学 |