基于本体学的智能主题式网络爬虫系统构建方法

摘要

本发明公开了一种基于本体的智能主题式网络爬虫系统构建方法，该方法包括以下步骤：(1)对当前Web页面进行解析；(2)处理得到单词层信息；(3)转化为本体信息；(4)计算页面的主题相关度；(5)页面主题相关度高于设定值高限，则更新页面内容信息集；否则执行(9)；(6)更新各本体兴趣率；(7)进行学，修改本体类的权值；(8)对本体算法进行优化；(9)顺序提取当前Web页面中的URL；否则转而执行步骤(11)；(10)如果该链接所指向URL已被访问过，则提取下一链接；否则按照该链接所在页面的主题相关度大小插入优先等待访问队列；(11)选取第一个URL；(12)重复执行步骤(1)至(11)。本发明的优点是结果准确率高，计算以及存储开销较小且系统具有较高鲁棒性。

主权项

1.一种基于本体学习的智能主题式网络爬虫系统构建方法，包括下列步骤(1)对当前Web页面进行解析，其特征在于该方法包括下列步骤：(2)将当前页面的文本信息进行预处理得到单词层信息；(3)通过本体管理系统把单词层信息转化为本体信息；(4)把得到的本体信息结合本体库计算页面的主题相关度；(5)如果当前页面主题相关度高于设定值高限，则更新页面内容信息集；如果当前页面主题相关度低于设定值高限，则更新页面内容信息集后转而执行步骤(9)；(6)由更新后得页面内容信息集更新本体库中各个本体兴趣率；(7)通过兴趣率的进化对本体进行学习，修改本体类的权值；(8)运用繁殖算法对本体学习算法进行优化；(9)如果当前页面主题相关度大于设定值底限，则顺序提取当前Web页面中的所有出链接所指向的URL；否则转而执行步骤(11)；(10)如果该链接所指向URL已被访问过，则提取下一链接；如果该URL未被访问，则按照该链接所在页面的主题相关度大小插入优先等待访问队列；(11)从优先等待访问队列中选取第一个URL，也就是优先级最高的进行访问；(12)重复执行步骤(1)至(11)，直到出现没有满足条件的新URL。