一种多维度数据去重方法及系统

摘要

本申请提供了一种多维度数据去重方法及系统，所述方法包括：依据网络日志文件中任一维度值的多维度数据的属性值确定划分值，其中，任一维度值小于网络日志文件中各个维度的多维度数据的最大维度；将网络日志文件中包含相同的划分值的不同多维度数据划分至一个子日志文件；对于子日志文件中的任一个多维度数据，判断是否存在与其属性及属性值都相同的多维度数据，如果是，则删除与任一个多维度数据相同的多维度数据。应用本申请实施例提供的多维度数据去重方法，可以一次对多维度数据进行划分，从而减少了划分次数，减少对网络日志文件中所有维度的多维度数据的扫描时间，进一步在去重整体过程中，减少了多维度数据的去重时间，提高了去重效率。

主权项

一种多维度数据去重方法，其特征在于，该方法包括：依据网络日志文件中任一维度值的多维度数据的属性值确定划分值，其中，所述任一维度值小于所述网络日志文件中各个维度的多维度数据的最大维度；所述依据网络日志文件中任一维度值的多维度数据的属性值确定划分值包括：当任一维度值为1时，其确定的划分值为所述多维度数据的属性值或者属性值的范围值；当任一维度值不为1时，该任一维度值对应的多维度数据确定的划分值为所述多维度数据的多个属性值的组合，多个属性值中的一个属性值，或者，多个属性值中一个属性值的范围值；将所述网络日志文件中包含相同的所述划分值的不同多维度数据划分至一个子日志文件；对于所述子日志文件中的任一个多维度数据，判断是否存在与其属性及属性值都相同的多维度数据，如果是，则删除与所述任一个多维度数据相同的多维度数据。