一种及时高效的互联网信息爬取方法

摘要

本发明公开了一种及时高效的互联网信息爬取方法，属于信息技术领域。本方法为：1)设定种子地址，爬取保存网页信息并确定导航页面；2)对每一导航页面进行多次爬取，并对爬取的网页进行分析标注；4)建立每一网站的主题判断模型和导航页面变更时间序列预测模型；5)预测每一网站导航页面下一次变更时间，确定下一爬取时间，爬取导航页面并提取未爬取过的子页面地址和锚文本；6)利用所建主题判断模型对上一步提取的子页面地址和锚文本进行判断，并据判断结果分别处理；7)基于新爬取的主题相关页面，形成或更新每一网站导航页面的当前变更时间序列，确定下一爬取时间进行网页爬取。本发明能在较小负载下，保证所采集信息的新颖性和主题性。

主权项

一种及时高效的互联网信息爬取方法，其步骤为：1)将设定信息源作为种子地址进行网页信息爬取并保存，确定所爬取网页所属网站及网站的导航页面；2)将确定出的每一网站导航页面作为一爬取对象进行多次爬取，并对其子页面爬取保存；3)将步骤2)所爬取的网页进行主题相关判断和标注，将爬取的每一网站的页面分别标注为：主题相关页面、主题不相关页面、后续页面；4)基于标注的页面集合及形成的无标注样本集合，建立每一网站的页面主题相关判断模型、页面主题不相关判断模型、后续页面判断模型及基于内容和链接的通用主题相关判断模型；根据每次爬取时网站导航页面的主题相关子页面的发布时间建立一导航页面变更时间序列，创建每一网站的导航页面变更时间序列预测模型；5)利用所述导航页面变更时间序列预测模型预测每一网站导航页面下一次变更时间，然后利用该变更时间预测值确定每一网站导航页面的下一爬取时间，爬取网站导航页面并提取其中未爬取过的子页面地址和锚文本；6)利用所建页面主题相关判断模型、页面主题不相关判断模型、后续页面判断模型和通用主题相关判断模型对上一步提取的子页面地址和锚文本进行判断：如果子页面属于后续页面类别，则继续进行爬取；如果子页面属于主题相关页面，则爬取保存；如果子页面属于主题不相关页面类别，则放弃；7)基于新爬取的主题相关页面，形成或更新每一网站导航页面的当前变更时间序列，采用步骤5)方法确定每一网站导航页面下一爬取时间进行网页爬取；其中，利用所述导航页面变更时间序列预测模型预测每一网站导航页面下一次变更时间的方法为：导航页面的下一次变更时间T_next＝当前变更时间T_current+变更的时间段T_interval；其中，N为设定的时间窗口T_window的长度；确定N值的方法为：根据所述导航页面历史变更时间序列计算每次导航页面变更的实际T_interval；然后采用不同的时间窗口内的实际T_interval预测历史变更时间序列内下一次变更的T_interval，并计算预测值和实际的变更值之间的相关系数，选取预测值和实际的变更值之间的相关性最强时的时间窗口长度值确定为N值。