一种MapReduce平台上的海量高维数据聚类方法

摘要

本发明属于云计算与数据挖掘技术领域，具体为一种MapReduce平台上的海量高维数据聚类方法。该方法首先对原始数据的每一维进行分割，用切分好的非空小格代替原数据中的点集进行聚类，减小数据规模。利用MapReduce的开源实现，使得聚类过程可以在分布式集群上并行完成，克服了单机算法在存储和计算上的限制。聚类过程采用K-mediods算法的思想，并提出高效的欧式距离计算方法。本发明适用于处理海量高维数据，用户可以根据集群的计算能力、算法的时间期望以及对聚类精确性的要求对算法进行手动调整，满足了不同用户的需要。

主权项

一种MapReduce平台上的海量高维数据聚类方法，其特征在于具体步骤如下：（1）对于输入的海量高维数据进行预处理，设高维数据为D维，首先是对原数据各维进行标准化，之后将每一维切成N格，生成非空的D维格子集合；（2）以步骤(1)输出的结果作为输入，实现MapReduce平台上的K‑mediods并行算法，通过迭代计算对D维格子集合进行聚类；（3）将步骤(2)得出的D维格子聚类的结果还原成原始的D维点集聚类结果，并按照用户的需求进行最终整理及输出。