一种基于爬虫+RocketMQ的数据抓取分发方法

摘要

本发明公开了一种基于爬虫+RocketMQ的数据抓取分发方法，属于计算机数据挖掘技术领域，RocketMQ是一款分布式、队列模型的消息中间件，支持严格的消息顺序，支持Topic与Queue两种模式，亿级消息堆积能力，比较友好的分布式特性，同时支持Push和Pull方式消费消息，RocketMQ的集群部署中，NameServer是无状态节点，节点之间也没有信息交流；RocketMQ的消费端支持多种不同的数据源接入，可以按Topic对消费端进行分类，从而完成数据分发的功能。本发明将抓取的数据存储到指定的文件系统或者数据库中以供其他应用使用。

主权项

一种基于爬虫+RocketMQ的数据抓取分发方法，其特征在于RocketMQ是一款分布式、队列模型的消息中间件，支持严格的消息顺序，支持Topic与Queue两种模式，亿级消息堆积能力，比较友好的分布式特性，同时支持Push和Pull方式消费消息，RocketMQ的集群部署中，NameServer是无状态节点，节点之间也没有信息交流；Broker分为Master与Slave，Producer负责产生消息，并且与NameServer集群中的其中一个节点建立长连接，定时向Master发送心跳，定期从NameServer获取Topic路由信息，Consumer同样与Nameserver集群中其中一个节点建立长连接，定期从NameServer获取Topic路由信息，定时向Master、Slaver发送心跳；RocketMQ的消费端支持多种不同的数据源接入，可以按Topic对消费端进行分类，从而完成数据分发的功能，可以支持hbase，hdfs,关系型数据库，本地系统文件存储；使爬虫只负责不断的按指定的Topic生成数据，数据就可以源源不断的通过消费端到达不同的数据源进行存储。