URL信息获取方法和装置及搜索引擎实现方法及系统

摘要

本发明公开了一种URL信息获取方法和URL信息获取装置，该方法在一客户端与一站点服务器建立通信连接后，对双方之间的每一会话执行以下步骤：第三方设备解析客户端向站点服务器发送的通信报文，提取并记录客户端所请求的URL链接；第三方设备解析站点服务器向客户端返回的通信报文，按照预设的策略提取并记录该URL链接对应的链接内容信息。本发明还公开了一种交换路由设备，一种镜像设备，一种搜索引擎实现方法以及一种搜索引擎实现系统。通过本发明，实现对包括动态网页信息在内的URL信息的获取；以及，取代现有的网络爬虫技术，不占用网络带宽地实现搜索数据库的建立，且该搜索数据库不但支持对于动态网页的搜索，同时提高搜索的实用性和实效性。

主权项

一种搜索引擎实现方法，其特征在于，包括以下步骤：步骤SB1：第三方设备根据URL信息获取方法获取客户端访问的URL链接及相应的链接内容信息；其中，所述URL信息获取方法在一客户端与一站点服务器建立通信连接后，对双方之间的每一会话执行以下步骤：步骤SA1：第三方设备解析所述客户端向所述站点服务器发送的通信报文，提取并记录客户端所请求的URL链接；步骤SA2：第三方设备解析所述站点服务器向所述客户端返回的通信报文，按照预设的策略提取并记录所述URL链接对应的链接内容信息；步骤SB2：第三方设备访问所述URL链接的站点服务器，识别获取的链接内容信息是否允许被搜索引擎采集；步骤SB3：保留允许被搜索引擎采集的链接内容信息，并在每次通信连接释放后，将所述URL链接及相应的链接内容信息发送给搜索引擎服务器，由所述搜索引擎服务器生成搜索数据库。