一种基于主题的Web页面清洗方法

摘要

本发明属于计算机科学与技术领域，涉及一种基于主题的Web页面清洗方法，包括：确定主题领域；采集样本页面，并对样本页面的网页结构进行分析，确定页面元素树形结构；确定抽取内容标签边界；根据标签边界定义正则表达式匹配规则，利用多个抽取规则组成抽取规则模板；对待清洗页面进行清洗预处理，剔除容易分辨的“噪音”内容；利用已生成的抽取规则模板进行页面清洗，得到清洗后的页面。本发明直接在页面中抽取有用信息，大大降低了页面清洗的复杂度和困难度。针对Web页面标签的复杂多样性和局部固定性，采用正则表达式直接匹配和抽取需要的标签，保留有用信息并自动剔除掉无用信息，可有效地实现页面清洗的目的。

主权项

一种基于主题的Web页面清洗方法，其特征在于，直接在页面中抽取有用信息，针对Web页面标签的复杂多样性和局部固定性，采用正则表达式直接匹配和抽取需要的标签，保留有用信息并自动剔除掉无用信息；包括以下步骤：步骤一，确定主题领域：人工采集和选取多个样本页面进行分析，提取出关键词，由关键词确定页面内容的主题范围，最终确定主题领域；步骤二，采集样本页面，并对样本页面的网页结构进行分析，确定页面元素树形结构；步骤三，确定包含即将抽取的主题内容的抽取内容标签边界

；步骤四，根据标签边界定义正则表达式匹配规则，利用多个抽取规则组成抽取规则模板；步骤五，对待清洗页面进行清洗预处理，剔除容易分辨的“噪音”内容；步骤六，利用已生成的抽取规则模板进行页面清洗，得到清洗后的页面。