数据排重方法及系统

摘要

本申请提供了数据排重方法及系统。该方法包括：将待处理的数据集分配到多台服务器，其中，每台服务器被分配数据集中的多个子集，每个子集中的每个数据均包括具有相同属性的第一数据元；每台服务器至少针对分配给该服务器的全部子集中的第一数据元取交集，以形成预排重数据集；以及至少针对多台服务器形成的全部预排重数据集中的第一数据元取交集，以得到排重数据集。在本申请中还给出了数据排重系统的示例架构，并给出了这样的数据排重方法和系统的具体用例。本申请的技术方案大大减轻了每台服务器的工作负载、节省了数据排重时间，有效地提高了数据排重的效率和精度、提高了系统响应速度。

主权项

一种数据排重方法，包括：将待处理的数据集分配到多台服务器，其中，每台服务器被分配所述数据集中的多个子集，每个子集中的每个数据均包括具有相同属性的第一数据元；每台服务器至少针对分配给该服务器的全部子集中的第一数据元取交集，以形成预排重数据集；以及至少针对所述多台服务器形成的全部预排重数据集中的第一数据元取交集，以得到排重数据集。