一种基于模式挖掘的噪音数据过滤方法

摘要

本发明公开了一种基于模式挖掘的噪音数据过滤方法，该方法首先建立由词袋数据集D构成的预处理数据结构FP树，该FP树包含了词袋数据集及其相应的事物数据集；其次，根据FP-2INF算法，最终将所有2-项集兴趣模式添加到兴趣模式集L中，完成噪音数据过滤。本发明根据兴趣度指标条件，将兴趣度指标直接进行剪枝，一步到位地挖掘出兴趣模式，有效实现噪音数据过滤，获得高质量数据，提高了数据的正确性、一致性。

主权项

1.一种基于模式挖掘的噪音数据过滤方法，其特征在于该方法首先建立由词袋数据集D构成的预处理数据结构FP树，该FP树包含了词袋数据集及其相应的事物数据集；其次，根据FP-2INF算法，最终将所有2-项集兴趣模式添加到兴趣模式集L中，完成噪音数据过滤；具体步骤如下：1）预处理输入数据集；输入数据由二元组<Word_ID, Frequency>的词袋数据集组成的Word_ID-Instance矩阵，该矩阵每一行由Word_ID及其相关的实例数据构成,进而转化为构建FP树的事务数据集；2）根据预处理的数据集，通过频繁集中频率降序的顺序建立FP树，设立基于2-项集余弦相似度兴趣模式噪音数据挖掘的参数min_supp、min_cos；3）使用算法FP-2INF，将FP树分成前缀路径FP树P和多缀路径FP树Q，算法开始试图寻找单路径树，遍历单路径树P上的任意2-项集β∪α，如果满足cos(β∪α)≥min_cos兴趣模式，则将其添加至兴趣模式集L中；在多缀路径树Q中，对路径上的任意元素：若为单项集，建立条件模式基及条件FP树Treeβ，对非空的FP树Treeβ继续FP-2INF迭代；否则，对满足2-项集模式且符合余弦相似度条件的2-项集添加至兴趣模式集L中；4）根据FP-2INF返回的2-项集余弦相似度兴趣模式，比较数据集D和模式集L中的数据；对于任意数据而言，如果存在则即为被兴趣模式过滤的噪音数据，完成噪音数据过滤。