决策论WEB爬行探测和预测网页改变的系统及方法

摘要

描述了促进在计算机环境中预测的web爬行探测的系统和方法。本发明的诸方面提供预测、基于效用和网页子集中改变的决策论概率评估来增强web爬行探测能力和确保网页信息保持在新鲜状态。另外，本发明促进对具有高改变概率的页面的有选择的爬行探测。

主权项

1. 一种促进web爬行探测的系统，其特征在于，包括：一管理组件，它执行预测分析，所述预测分析确定是否、何时以及如何执行web爬行探测；所述管理组件作出关于至少一个网页中的改变的预测，所述预测分析至少部分地基于与所述至少一个网页有关的历史数据、包含在所述至少一个网页中的内容、以及与至少一个其它网页有关的历史数据；一决策论组件，其确定一个适当的时间来爬行探测所述至少一个网页，并通过采用最大预期效用原理来作出关于所述至少一个网页中的改变的预测；以及一web爬行探测组件，它根据所述预测分析通过决策论方法选择性地爬行探测网页的子集。