一种网页中非正文文本的识别系统及方法

摘要

本发明公开了一种网页中非正文文本的识别系统及方法，涉及正文抽取领域。所述系统包括：网页抓取器适于抓取目标网站的所有网页的数据；DOM树构建单元，适于构建目标网站的每个网页对应的DOM树；DOM树分析单元，适于根据DOM树找出网页中的单元文本段；文本统计单元，适于统计单元文本段在目标网站的所有网页中的出现次数；文本识别单元，适于在所述出现次数大于预定阈值时，将所述单元文本段识别为非正文文本。所述系统及方法，克服了现有方法对于非正文文本识别的滞后问题，并且具有较高的识别准确度。

主权项

一种网页中非正文文本的识别系统，其特征在于，所述系统包括：网页抓取器、DOM树构建单元、DOM树分析单元、文本统计单元和文本识别单元；所述网页抓取器适于抓取目标网站的所有网页的数据；所述DOM树构建单元，适于构建目标网站的每个网页对应的DOM树；所述DOM树分析单元，适于根据所述DOM树找出所述网页中的单元文本段；所述文本统计单元，适于统计所述单元文本段在所述目标网站的所有网页中的出现次数；所述文本识别单元，适于在所述出现次数大于预定阈值时，将所述单元文本段识别为非正文文本。