并行计算系统及去重计数方法

摘要

本发明另提出一种并行计算系统及方法，其方法包括以下步骤：(1)设置多个节点数据库。(2)将源数据库中的海量数据按照关键字段进行分割，并分配到各个节点数据库。(3)判断统计内容是否是被分割的关键字段。(4)若是，则对关键字段进行非重复的计数运算。(5)若不是，对非关键字段进行分组统计运算。本发明可以大大提高大型数据库的统计速度，并可以确保数据统计的准确性。

主权项

一种并行计算系统，用于对一源数据库进行统计，其特征在于，包括：一数据分割服务器，与该源数据库相连，用于将该源数据库中的海量数据按照关键字段进行分割；多个节点服务器，均与该数据分割服务器相连，且每个节点服务器又进一步包括：一节点数据库，与该数据分割服务器相连，用于存放分割后的数据；一解析单元，用于判断统计内容是否是被分割的关键字段；一计数统计单元，分别与该节点数据库及该解析单元相连，用于对关键字段进行非重复的计数运算；一分组统计单元，分别与该节点数据库及该解析单元相连，用于对非关键字段进行分组统计运算；一汇总服务器，且该汇总服务器又进一步包括：一临时表存储单元，与各个节点服务器相连，用于存放各个节点服务器反馈的统计结果，并汇总形成一临时表；一主处理单元，与该临时表存储单元相连，用于对该临时表中的关键字段数据进行求和运算，以及对该临时表中的非关键字段数据进行非重复的计数运算，并形成最终的结果集。