一种网页内容识别方法和系统

摘要

本发明公开了一种网页内容识别方法和系统，该方法包括：网络爬虫从互联网抓取网页；网络爬虫自动抓取互联网网页的内容，包括但不限于网页结构、网页标签、程序或者脚本信息；所述网页结构根据下述信息生成：包括但不限于网页标题，网页正文内容，图片、声音或视频信息；所述新抓取的网页和网页数据库中存储的网页进行比较；所述特征码通过采集下述信息生成：包括但不限于网页的标签数量，标签中文字长度；有效页面存储于网页数据库。本发明技术方案简化了网页识别的运算量，算法相对简单，进一步的降低了系统资源的占用，对于提高搜索时间、减小系统资源占用具有积极的意义。

主权项

一种网页内容识别方法，其特征在于，包括以下步骤：网络爬虫从互联网抓取网页；所述新抓取的网页和网页数据库中存储的网页进行比较；有效页面存储于网页数据库。