一种基于布谷鸟搜索的方法

摘要

本发明公开了一种基于布谷鸟搜索的方法，利用通用搜索引擎获取待搜索的网页URL，根据网页间的链接关系获取初始种子群体URL；通过Levy飞行操作搜索主题相关性高的网页，运用向量空间模型算法计算网页主题相关性；设置被发现概率的临界值Pa通过被发现概率Pa操作引入目录型网页，扩大网页的搜索范围；通过适应度函数计算，选出适应度高的个体URL放入待爬取种子群体URL中。本发明提供了一种基于布谷鸟搜索算法的主题爬虫方法，使Web网页之间的链接结构关系不会被忽略，很好地发挥网页链接结构的作用；这种搜索策略能较好的克服主题爬虫出现的“主题漂移”问题以及在搜索相关网页时陷入局部最优值，获得尽可能高的查全率和查准率，从而提高爬虫的搜索效率。

主权项

一种基于布谷鸟搜索的方法，包括主题、Google检索、结果集1、选择、Levy飞行、概率Pa、结果集2和统计相关性，其特征在于：搜索方法具体步骤如下：步骤A、将需要搜索的主题通过搜索引擎进行搜索，获取得到结果集1；步骤B、将步骤A得到的结果集1进行选择，然后通过Levy飞行操作搜索与主题相关性高的网页；步骤C、设置被发现概率的临界值Pa，将步骤B搜索到的网页通过被发现概率Pa操作引入目录型网页，扩大网页的搜索范围，形成结果集2；步骤D、将步骤C形成的结果集2通过适应度函数计算，选出适应度高的个体。