一种面向主题的获取动态页面内容的方法及系统

摘要

本发明公开了一种面向主题的获取动态页面内容的方法及系统，属于网络数据采集技术领域。本方法为：1)在抓取服务器端建立一JavaScript过滤库和一JavaScript本地库；2)获取每一抓取页面的页面信息，生成当前页面的DOM对象；3)根据过滤库检验当前页面中请求的外部文件，如果与主题无关，则在当前页面的DOM对象相应位置设置无需加载标记，否则设置正常加载标记；4)如果标记为正常加载的外部文件存在于本地库，则设置本地加载标记，否则设置正常加载标记；5)执行当前页面中的JavaScript，获取动态页面信息；6)获取整合后的页面信息。与现有技术相比，本方法具有更高的时效性、且动态页面信息完整。

主权项

一种面向主题的获取动态页面内容的方法，其步骤为：1)在抓取服务器端建立一JavaScript过滤库和一JavaScript本地库；2)获取每一抓取页面的页面信息，生成当前页面的DOM对象；如果当前页面中使用宿主对象，则该抓取服务器将其实例化为相应对象；3)根据所述JavaScript过滤库检验当前页面中请求的外部JavaScript文件，如果与主题无关，则在当前页面的DOM对象相应位置设置无需加载标记，否则设置正常加载标记；4)对于标记为正常加载的外部JavaScript文件，如果当前处理的JavaScript文件存在于所述JavaScript本地库，则设置本地加载标记，否则设置正常加载标记；5)执行当前页面中的JavaScript，获取动态页面信息；其中，根据加载标记加载外部JavaScript文件；6)检验获取的每一动态页面是否丢失了原有页面中的部分信息，如果丢失，则重新将丢失部分添加到动态页面中，得到整合后的页面信息。