一种网页链接特征模式识别算法

摘要

本发明公开了一种网页链接特征模式识别算法，该算法采用基于内容特征提取的方式来进行去重，内容特征的提取方式主要基于代表内容含义的关键词序列提取，再将关键词序列利用散列算法生成唯一的指纹；如果指纹库为空，则将该指纹添加入指纹库。如果不为空，则将跟指纹与指纹库对比。如果存在相同指纹，则代表该网页已经有雷同网页存在；采用本技术方法的去重算法可以有效的应对在标题或者内容后添加随时码，或者对标题内容进行部分删减以及调整段落位置的情况，能够有效的提高性能。

主权项

一种网页链接特征模式识别算法，其特征在于：该算法立足于自动的对蜘蛛采集到的网页进行链接模式分析。经过树形的架构之后生成初步的基于链接层级的模式树，并对模式树进行类型的判断。再根据基于正则表达式的替换生成进一步的链接模式。算法步骤：1、首先对需要识别的目标网站进行无差别的站内采集。2、对于少数规模庞大的网站，采集深度到3或者指定数据的网页数即可。理论上数量越多，识别的准确率越高。3、提取出所有页面的链接，并对链接出现次数进行统计。4、出现次数最多的网页链接初步标注为导航链接。5、对所有链接进行归类，归类的条件是网页链接的层次。6、归类的目标是生成一棵网站链接树，顺序是从域名一级一级向右推。7、对网站链接树进行遍历，判断叶子节点类型。判断方法为，如果页面链接很多，但是文本很少，则忽略。如果文本很多，则判断为内容型链接。8、对所有叶子节点判断完向上依次归并。如果所有子节点都为同类型，则判断该父节点为该类型。如果同时拥有多个，则判断中断。9、对所有判断完毕为内容节点的链接进行模式替换，如全部为数字则全部替换为/d+，为英文加数字则替换为[/da‑zA‑Z]，替换规则参考正则表达式。10、新采集一批网页，对提取出来的模式进行二次验证。验证通过的模式直接保存。