网页信息块提取方法和装置

摘要

本发明提出了一种网页信息块提取装置和方法。在本发明中，首先生成网页的结构信息块树，并对结构信息块进行分类归并和合并，对进行分类归并的结构信息块的语义进行标记，从而根据内容和功能把网页分割为信息块。特别地，结构层次的自动重复模式发现和语义层次的分类归并是实现本发明的方法和装置的基础和保证。根据本发明的方法和装置，网页处理的粒度从整个页面扩展为页面内的信息块，使网页更容易由机器处理。本发明的方法和装置可以应用于几乎所有类型的网页。

主权项

1.一种信息块提取方法，用于将网页分割为具有内聚内容的多个信息块，该方法包括以下步骤：结构信息块提取步骤，生成网页的结构信息块树；以及语义信息块提取步骤，对结构信息块进行分类归并，并对进行分类归并的结构信息块的语义进行标记，其中，所述结构信息块提取步骤包括：将网页表达为HTML标记token流；根据所述HTML标记token流检索重复模式；从上述重复模式中将不对应结构信息块的重复模式滤除；通过将重复模式映射到网页来获得页面区域；根据所获得的页面区域来构建RST树；和根据RST树来生成结构信息块树。