基于共享路径的FP-Growth数据挖掘方法

摘要

本发明公开一种基于共享路径的FP-Growth数据挖掘方法，该方法基于MapReduce，利用OLAP的数据立方体技术，采用了共享路径的思想。主要解决了传统FP-Growth算法存在的内存和计算时间双瓶颈的问题，属于数据挖掘领域的技术。

主权项

基于共享路径的FP‑Growth数据挖掘方法，其特征在于，包括以下步骤，S1、按照挖掘需求扫描OLAP数据分析生成的数据立方体Cube，得到相应的Cube表；S2、数据分片处理：将事务集拷贝到HDFS上，由HDFS将事务集划分为连续的Block并保存相应副本，将各个Block分散存储到N个节点上；S3、扫描Cube表，构建频繁1_项集表F1List，F1List按照支持度降序排列；S4、均衡划分F1List得到长度为M的新的列表Glist；S5、再次扫描Cube表，根据Glist重新将事务集划分为M组，每组重新编号，新的编号与Glist组号一一对应；S6、调用一次MapReduce实现并行，挖掘完已有FPTree对应的Glist_i中所有事务组，得到Glist内包含的所有频繁模式。