一种对大数据进行处理的方法和装置

摘要

本发明公开了一种对大数据进行处理的方法和装置，属于数据处理领域。所述方法包括：获取多个键值对集合，键值对集合包括至少一个键值对，键值对中的键和值分别为待处理的大数据中的两个子数据，且两个子数据之间存在预设数据关系，键值对集合中的各键值对中的取模余数都相同；分别计算每个键值对集合中包括的各值之和，得到每个键值对集合包括的值的总值；获取Reduce处理模块集合中的每个Reduce处理模块的负载情况；根据每个键值对集合中包括的值的总值和每个Reduce处理模块的负载情况，分别为每个Reduce处理模块分配对应的键值对集合；通过每个Reduce处理模块分别对分配到的所述键值对集合进行处理。

主权项

一种对大数据进行处理的方法，其特征在于，所述方法包括：获取多个键值对集合，所述键值对集合包括至少一个键值对，键值对中的键和值分别为待处理的大数据中的两个子数据，且所述两个子数据之间存在预设数据关系，所述键值对集合中的各键值对中的取模余数都相同；分别计算每个键值对集合中包括的各值之和，得到所述每个键值对集合包括的值的总值；获取Reduce处理模块集合中的每个Reduce处理模块的负载情况；根据所述每个键值对集合中包括的值的总值和所述每个Reduce处理模块的负载情况，分别为所述每个Reduce处理模块分配对应的键值对集合；通过所述每个Reduce处理模块分别对分配到的所述键值对集合进行处理。