一种基于多维数据异常簇挖掘的垃圾网页检测方法

摘要

本发明涉及一种基于多维数据异常簇挖掘的垃圾网页检测方法，属于数据挖掘和搜索引擎领域。该方法将垃圾网页视为多维数据中的异常簇。首先采集网页的内容和链接信息，计算网页邻居属性，将网页表示成多维数据集。然后采用多维数据独立性分析技术将网页集合分解成多个具有最大独立属性集的网页子集，并在每个子集中挖掘异常网页簇。最后返回最异常的垃圾网页集合。本发明具有较高的垃圾网页检测的准确率，并定义了离群因素用于解释垃圾网页不同于正常网页的原因，来帮助搜索引擎过滤最具欺骗性的垃圾网页。本发明涉及的异常数据的挖掘方法不仅可以检测垃圾网页，也可以为信息，商务，金融，传统工业和医学等多邻域提供一种有效分析异常数据的工具。

主权项

一种基于多维数据异常簇挖掘的垃圾网页检测方法，其特征在于：1)利用网页蜘蛛采集网页的内容和链接信息，根据网页链接结构计算网页的邻居属性，其计算方法为：对于给定的网页e，e的邻居集合NBR(e)及任意网页内容或链接属性f，邻居属性NDS(f，e)＝Mediane′，e″∈NBR(e)，e′≠e，e″≠e|e′.f‑e″.f|，其中e.f代表网页e的对于属性f的属性值，然后根据邻居属性将网页表示成为多维数据集合；2)根据步骤1)得到多维网页数据，首先进行属性间的独立性分析，计算所有属性之间彼此独立的程度，找到所有最大独立属性集合，再根据这些最大独立属性集合把原始的多维数据转换成若干个多维数据子集，其中每个子集的维度都小于原始维度；3)根据步骤2)得到的每个网页子集，首先将网页根据其在各个维度上的属性值排序，得到网页序列，对于任何一个网页数据簇，定义其离群因素，根据这个离群因素，设计自下而上的算法，先找出包含1个网页的多维异常簇，再找出包含2个网页的多维异常簇，直到某个用户指定的垃圾网页数目的边界值，返回这个数据子集中的最异常的网页簇即垃圾网页簇；4)从步骤3)得到的垃圾网页簇中，根据垃圾网页在各自子集中的异常度的大小找出原始多维数据中的最异常的垃圾网页集合，最后返回最异常的垃圾网页集合以及对应的离群因素。