基于Hadoop对海量数据进行实时统计的系统和方法

摘要

本发明提供一种基于Hadoop对海量数据进行实时统计的系统和方法，该系统包括：由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库，内存数据库；还包括：网络数据处理单元，用于获取网络数据，对获取的网络数据进行解析；入队单元，用于将解析后的数据组织为结构化数据格式，存储到MQ队列中；Storm处理单元，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库中；上传单元，用于将所述内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。本方案能够实现海量数据的实时存储到Hbase数据库。

主权项

一种基于Hadoop对海量数据进行实时统计的系统，其特征在于，包括：由多个节点组成的Hadoop集群及Hadoop集群中的Hbase数据库，内存数据库；还包括：网络数据处理单元，用于获取网络数据，对获取的网络数据进行解析；入队单元，用于将解析后的数据组织为结构化数据格式，存储到MQ队列中；Storm处理单元，用于通过Storm对MQ队列中的数据进行流式计算处理，获得处理后的数据，将获得的处理后的数据存入内存数据库中；上传单元，用于将所述内存数据库中预定量的数据汇总持久化至Hadoop集群的Hbase数据库中。