一种大容量数据的统计方法及系统

摘要

本发明适用于数据处理领域，提供了一种大容量数据的统计方法及系统，所述方法包括下述步骤：将大容量访问数据分配至一台或者多台分片服务器；分片服务器对所述访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述访问数据的统计数据。本发明实施例通过采用分布式处理环境，可以充分利用大量空闲的网络资源，轻易的对大容量数据进行统计，而且充分发挥了数据处理的并行性，提高了处理效率。

主权项

1.一种大容量数据的统计方法，其特征在于，所述方法包括下述步骤：将大容量访问数据分配至一台或者多台分片服务器；分片服务器对所述访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述访问数据的统计数据。