一种组合文字和图片信息的网络资讯批量采集方法

摘要

本发明一种组合文字和图片信息的网络资讯批量采集方法，它通过一系列配置即可实现对目标网站资讯的采集、去重、存储到数据库，以及按客户指定格式发送到客户指定的地方等功能。其处理流程为：确定需要进行资讯采集的网站和资讯列表页的具体URL、页面数量；根据多个列表页的URL，找出其公共部分，保存在列表配置信息中；资讯采集时，系统读取列表配置信息中的URL公共部分信息，从列表页的总数量，得到全部的列表页的序号信息，从而组合成目标网站待采集的所有列表页的URL；根据待抓取链接库中保存的详细页链接地址，进行详细页内容的抓取；对于详细页内容中图片的处理；抓取详细页内容之后，将内容数据导出到指定接口。

主权项

一种组合文字和图片信息的网络资讯批量采集方法，其特征在于，包括：步骤一、确定需要进行资讯采集的网站，并确定该网站中需要采集的资讯列表页的具体URL，以及这些列表页的页面数量；步骤二、根据多个列表页的URL，找出这些URL的公共部分，保存在列表配置信息中，另外，把这些列表页的序号信息保存在列表配置信息中；步骤三、在第一次资讯采集时，系统读取列表配置信息中的URL公共部分信息，从列表页的总数量，得到全部的列表页的序号信息，从而组合成目标网站待采集的所有列表页的URL；对于以后的资讯采集，系统读取列表配置信息中的URL公共部分信息，以及最新2页的列表页序号信息，组合成目标网站待采集的最新2页的列表页的URL；系统根据这些URL，来抓取目标网站的这些列表页面的源代码，并通过对源代码进行解析，获取列表页中包含的详细页链接地址；步骤四、根据待抓取链接库中保存的详细页链接地址，进行详细页内容的抓取；依次访问待抓取链接库中保存的详细页链接地址，获取详细页的源代码；详细页内容抓取成功之后，把此详细页链接地址保存到已抓取链接库中，用于以后进行重复性判断使用；步骤五、对于详细页内容中图片的处理；资讯的图片是资讯内容中的重要组成部分，在采集资讯内容时，同时获得的只是图片的链接地址，需要后续继续处理才能把图片下载下来；当所有的详细页中的文字信息都抓取结束后，再根据所获得的图片链接地址开始进行图片的抓取，有利于提升整个处理过程的效率；步骤六、抓取详细页内容之后，将内容数据导出到指定接口。