一种面向主题的信息采集方法和系统

摘要

本发明提供一种面向主题的信息采集方法，包括下列步骤：1)根据待采集链接队列中链接的顺序，从所述待采集链接队列中获得多个链接，采集并存储所述多个链接的页面内容，提取所述页面中的新链接，判定所述页面的主题相关性，提取所述页面的相关链接集合，将所述新链接添加到所述待采集链接队列中；2)根据所述页面的相关链接集合和所述页面的主题相关性，计算所有链接的页面的主题相关性，并调整添加了所述新链接的待采集链接队列中的链接的顺序，重复步骤1和2直至采集结束。上述方法极大的减小了对存储空间的需求；并且提高了面向主题信息采集的有效性。

主权项

1. 一种面向主题的信息采集方法，包括下列步骤:1)根据待采集链接队列中链接的顺序，从所述待采集链接队列中获得多个链接，采集并存储所述多个链接的页面内容，提取所述页面中的新链接，判定所述页面的主题相关性，提取所述页面的相关链接集合，将所述新链接添加到所述待采集链接队列中；2)根据所述页面的相关链接集合和所述页面的主题相关性，计算所有链接的页面的主题相关性，并调整添加了所述新链接的待采集链接队列中的链接的顺序，重复步骤1)和2)直至采集结束。