基于可配置规则的网站数据搜索方法

摘要

本发明涉及垂直搜索领域，具体说是基于可配置规则的网站数据搜索方法，其按以下步骤进行：为待搜索的网站配置入口规则、链接规则和详情规则；解析入口规则，得到网站的入口url、与入口规则关联的链接规则及访问该网站时的参数；解析上述与入口规则关联的链接规则，得到链接规则语法及与该链接规则相关联的详情规则；解析上述与链接规则相关联的详情规则，得到详情规则语法，从而采集页面上的内容。本发明可以把开发人员从编写爬虫系统中解放出来，开发人员只需要编写针对不同站点的配置规则便可以实现对一个网站的数据采集，而编写站点规则相比较于直接编写爬虫系统简单得多,同时维护也方便很多，可以为企业大大的节省开发成本和维护成本。

主权项

基于可配置规则的网站数据搜索方法，其按以下步骤进行：（1）为待搜索的网站配置入口规则、链接规则和详情规则；（2）解析入口规则，得到网站的入口url、与入口规则关联的链接规则及访问该网站时的参数；（3）解析上述与入口规则关联的链接规则，得到一个用于解析该网站页面的链接规则语法及与该链接规则相关联的详情规则；（4）解析上述与链接规则相关联的详情规则，得到若干个用于采集该网站页面上内容的详情规则语法，从而采集页面上的内容。