一种爬取路径规划方法及装置

摘要

本发明实施例公开了一种爬取路径规划方法及装置，方法包括：根据预设爬取策略，从预设入口页面开始，爬取所述预设入口页面对应网站的页面；采集各个所爬取的页面的页面特征，记录从所述预设入口页面到达各个所爬取的页面的路径实例；根据记录的路径实例及各个所爬取的页面的页面特征，挑选出到达与预设目标页面相似的页面的路径实例；根据所挑选的路径实例及所挑选的路径实例中各页面的页面特征进行路径规划，生成路径规划结果。应用本发明实施例，既能提高路径规划的效率，也能减少爬取负担。

主权项

一种爬取路径规划方法，其特征在于，包括：根据预设爬取策略，从预设入口页面开始，爬取所述预设入口页面所属网站的页面；采集各个所爬取的页面的页面特征，记录从所述预设入口页面到达各个所爬取的页面的路径实例；根据记录的路径实例及各个所爬取的页面的页面特征，挑选出到达与预设目标页面相似的页面的路径实例；根据所挑选的路径实例及所挑选的路径实例中各页面的页面特征进行路径规划，生成路径规划结果。