一种海量URL的数据提取方法及系统

摘要

本发明公开了一种海量URL的数据提取方法，包括以下步骤：S10、利用分布式web服务器框架，分别将各文本数据收集到本地文件池；S20、将所述本地文件池内累加得到的总文本数据上传至hadoop的云端分布式文件系统hdfs1；S40、利用hadoop的数据仓库工具hive从所述云端分布式文件系统hdfs1内总文本数据中分布式提取URL的关键字。本发明大数据应用场景下，将各文本数据汇聚到本地文件池中后，将总文本数据上传到云端分布式文件系统中，再利用hive进行分布式计算来进行分布式提取；具有效率高且消耗资源低等优点。

主权项

一种海量URL的数据提取方法，其特征在于，包括以下步骤：S10、利用分布式web服务器框架，分别将各文本数据收集到本地文件池；S20、将所述本地文件池内累加得到的总文本数据上传至hadoop的云端分布式文件系统hdfs1；S40、利用hadoop的数据仓库工具hive从所述云端分布式文件系统hdfs1内总文本数据中分布式提取URL的关键字。