网页正文提取的方法及装置

摘要

本发明提供一种网页正文提取的方法及装置，其中方法将经过预处理去噪的网页HTML文本中每个文本切片的特征值进行计算，之后通过不同的聚合规则，对文本切片列表中满足要求的文本进行多次聚合，最终得到符合要求的网页正文。该方法简单高效，避免了全文人工制定提取规则的繁琐。可以根据具体网页类型实现相关网页的自动正文提取。

主权项

一种网页正文提取的方法，其特征在于，包括以下步骤：步骤S100：对网页HTML文本进行切片和过滤处理，得到文本切片列表sliceList，对所述文本切片列表sliceList中的不规范标签进行修复，得到修复切片列表rSliceList，对所述修复切片列表rSliceList中待清理标签进行清理，得到清理切片列表cSliceList；步骤S200：计算清理切片列表cSliceList中每个文本切片slice的特征值，对具有所述特征值的清理切片列表cSliceList进行基于切片特征值的多次文本聚合，每次文本聚合后，从重新算每个文本切片slice的所述特征值，得到聚合切片列表aggregateList；步骤S300：遍历所述聚合切片列表aggregateList，过滤其中的标签切片，对文本切片进行规制校验，如果满足规则条件则过滤，如果不满足就加入候选列表中，对所述候选列表按照文本有效字符长度从高到低进行排序，取候选列表中排序第一的文本作为正文输出。