一种重复数据的检查处理方法

摘要

本发明公开了一种重复数据的检查处理方法，该方法包括：A、获取待校验数据，初始化待校验数据的数据结构；B、计算获得待校验数据中各条数据的散列码；C、根据各条数据的散列码，检查各条数据之间是否存在重复数据，并根据检查结果更新各条数据的标记码；D、将已更新标记码的各条数据发送到各分布式计算节点中，以供各分布式计算节点比对所述已更新标记码的各条数据与本地数据之间是否存在重复数据；E、将各分布式计算节点比对后的各条数据发送到汇总节点。采用本发明实施例，能缩短海量数据的对比时间，提高数据查找和清理的效率。

主权项

一种重复数据的检查处理方法，其特征在于，包括：A、获取待校验数据，初始化所述待校验数据的数据结构；B、计算获得所述待校验数据中各条数据的散列码；C、根据所述各条数据的散列码，检查所述各条数据之间是否存在重复数据，并根据检查结果更新所述各条数据的标记码；D、将所述已更新标记码的各条数据发送到各分布式计算节点中，以供各分布式计算节点比对所述已更新标记码的各条数据与本地数据之间是否存在重复数据；E、将各分布式计算节点比对后的各条数据发送到汇总节点。