为搜索引擎获取网络素材的方法、设备和系统

摘要

本发明涉及通信领域，公开了一种为搜索引擎获取网络素材的方法，包括，接收来自网络侧的报文，当接收到的报文为HTTP报文时，获取并存储报文中携带的网页信息。该方法能够在用户访问网络后就立即获取到素材，从而实现了搜索引擎网络素材数据库的及时更新。本发明还公开了一种为搜索引擎提供网络素材的网络设备和系统。

主权项

一种为搜索引擎获取网络素材的方法，其特征在于，包括：接收来自网络侧的报文；当所述报文为超文本传输协议HTTP报文时，为搜索引擎获取所述HTTP报文中携带的网页信息；为所述搜索引擎存储所述HTTP报文中携带的网页信息；根据网页的IP地址、所述网页信息中词语出现的频率或用户的标识信息对被存储的所述HTTP报文中携带的网页信息进行分类；通过网络蜘蛛技术获取所述网页上链接的其他网页内容。