一种环保信息网格抓取方法

摘要

本发明公开了一种环保信息网格抓取方法，涉及网络数据抓取技术领域。本发明实施例中，考虑到环保行业网络数据的自身特点，通过获取网站内容流，并将内容流转化成字符串，再使用正则表达式将字符串进行分解，提取所需的网格字符串，最后将分解的字符串运用算法取模存入数组中，通过循环遍历所有数组，直到获取到待抓取的所有环保网格信息。这样，通过总体抓取-转化-正则分解-特征获取-取模存储，逐步实现对获取的环保网站中复杂信息的逐步细化，从而获取到所需的环保网格信息，为环保行业提供信息数据支撑。

主权项

一种环保信息网格抓取方法，其特征在于，包括如下步骤：S1，判断抓取网站是否有效，如果所述抓取网站有效，则执行S2，如果所述抓取网站无效，则返回提示无效信息；S2，获取所述抓取网站的内容流，判断所述内容流是否为图片，如果是，则将所述内容流转化成图片，并保存；否则，执行S3；S3，将所述内容流转化为字符串；S4，使用正则表达式，将所述字符串进行分解，通过网格数据特征获取网格数据；S5，对获取的网格数组数除列数取模存储，循环直至得到所有的待抓取的环保信息。