一种Web页面逻辑链接块的识别方法

摘要

本发明提出了一种Web页面逻辑链接块的识别方法，本发明提出的逻辑链接块概念，扩展了常规链接块的范畴；本发明提出的逻辑链接块的发现方法，避开了传统链接块识别所不可或缺的标签树解析或者DOM解析过程，链接块的判别规则简单，无需复杂计算；本发明提出的方法分析速度快，抗干扰性强，能更好的适应设计不规范的Web页面，且不要求链接块内的链接主题内聚性高，这也就决定了该方法在Web页面文本抽取方面有着潜在的应用价值，在其他对链接块精细粒度要求不高的Web信息处理和挖掘领域中也具有广泛的应用前景。

主权项

一种Web页面逻辑链接块的识别方法，其特征在于，包括下述步骤：步骤1：输入网页；步骤2：对网页进行预处理，包括去除脚本代码、去除CSS样式代码、去除空标签；步骤3：将搜索位置P初始化为0，同时链接数计数器M初始化为0；步骤4、从搜索位置P开始搜索第一个链接的结束位置，若搜索到第一个链接的</a>标签位置，则进入步骤5；否，则进入步骤11；步骤5、确定第一个链接的结束位置，将其记为A,并开始搜索下一个链接的正向位置；若搜索到下一个链接的正向位置，则进入步骤6，否，则进入步骤11；步骤6、找到下一个链接的正向位置<a，将其记为B，并计算AB两个位置之间的链接距离，所述的链接距离是Web页面中相邻两个链接之间的距离；步骤7、判断AB距离是否小于与所设定的距离阈值d_t，若AB距离小于所设定的距离阈值d_t，则对初始设置的链接数计数器M增1，即M＝M+1，并记录现在的搜索位置P，令P＝B+1，返回步骤4；若AB距离不小于所设定的距离阈值，则结束当前逻辑块的搜索工作，将进一步搜索与位置B对应的链接结束位置，并记为C，进入步骤8；步骤8、判断当前的链接计数器M是否小于所设定的链接数阈值C_t；若当前的链接计数器M小于所设定的链接数阈值C_t，则可确定当前的逻辑块为非链接块，进入步骤9；如果当前的链接计数器M不小于所设定的链接数阈值，则可确定当前的逻辑块是链接块，逻辑链接块发现成功，并将所发现的链接块添加到逻辑链接块列表当中，进入步骤9；步骤9、将当前链接计数器M清零，并记录当前搜索位置P为C+1，进入步骤4；步骤10、重复4‑9的步骤，直至整个页面扫描处理完毕；步骤11、结束，获取当前网页的逻辑链接块。