一种网页正文抽取的方法

摘要

本发明提供了一种网页正文抽取的方法，该方法包括以下步骤：I、网页预处理；II、寻找所述网页中的最长串；III、创建DOM树，根据DOM查找所述最长串对应的节点；IV、根据所述最长串对应的节点的标签确定起始节点和结束节点；V、对所述起始节点和结束节点进行检查过滤；VI、输出过滤后的起始节点和结束节点中的文本。该方法针对模板或者分块技术在新闻内容抽取应用上的不足，基于最长串寻找种子段落，提高网页正文抽取的工作效率和准确率。

主权项

一种网页正文抽取的方法，其特征在于：所述方法包括以下步骤：I、网页预处理；II、寻找所述网页中的最长串；III、创建DOM树，根据DOM查找所述最长串对应的节点；IV、根据所述最长串对应的节点的标签确定起始节点和结束节点；V、对所述起始节点和结束节点进行检查过滤；VI、输出过滤后的起始节点和结束节点中的文本；所述步骤II包括以下步骤：1)、在所述网页正文中以行为单位寻找所述网页中的最长串；2)、获得并记录最长串长度，对所获得的最长串进一步处理，当最长串处于特定标签中时增加或减少获得的长度；所述步骤III中对所述网页创建DOM树，根据DOM树获得所有节点的信息，并将所述节点存储进数组，在包含节点的所述数组中查找包含对应最长串的节点；所述节点的信息包括文字数、汉字数、链接数。