基于视觉的web页面萃取方法

摘要

本发明公开了一种基于视觉的web页面萃取方法，包括如下步骤：⑴确认web页面中给定的网页地址已经下载完成，并且经完整展示后生成文档对象模型树；⑵基于文档对象模型树将web页面拆分成在视觉上无法进一步拆分的块元素；⑶从主体块在文档对象模型树中对应的根节点出发，遍历各个视觉块在文档对象模型树中对应的块节点，从而获得web页面中的有价值数据。本方法能够充分使用web页面本身的视觉提示，并结合文档对象模型树进行页面语义分块，显著提高了web页面萃取的效率和质量。

主权项

一种基于视觉的web页面萃取方法，其特征在于包括如下步骤：⑴确认web页面中给定的网页地址已经下载完成，并且经完整展示后生成文档对象模型树；⑵基于所述文档对象模型树将web页面拆分成在视觉上无法进一步拆分的块元素；⑶从主体块在所述文档对象模型树中对应的根节点出发，遍历各个视觉块在所述文档对象模型树中对应的块节点，从而获得所述web页面中的有价值数据；所述视觉块是在所述块元素的基础上，经过相似块合并、逻辑块合并之后生成的。