分布式数据处理平台

摘要

本发明涉及一种分布式数据处理平台，包括：存储层、计算层、查询接口与算法库，以及应用层；存储层包括：分布式文件系统HDFS、HBase数据库系统和分布式索引系统ES；HBase搭建在HDFS之上，用于存储微博的标识与微博数据之间的对应关系；ES中建立有微博关键字段与微博标识之间的对应关系；应用层接收用户终端发送的处理指令，根据处理指令向查询接口与算法库发送对应的查询请求；查询接口与算法库根据查询请求从存储层中查询微博数据；计算层根据处理指令对查询到的微博数据进行处理，将处理结果反馈给应用层，从而通过HBase和ES的配合使用，提高了分布式数据处理平台的查询速度和分析效率，满足微博大数据的要求。

主权项

一种分布式数据处理平台，其特征在于，包括：存储层、计算层、查询接口与算法库，以及应用层；所述存储层，包括：分布式文件系统HDFS、HBase数据库系统和分布式索引系统ES；所述HBase数据库系统搭建在所述HDFS之上，用于存储微博的标识与微博数据之间的对应关系；所述分布式索引系统ES中建立有微博关键字段与微博标识之间的对应关系；所述应用层，用于接收用户终端发送的处理指令，根据所述处理指令向所述查询接口与算法库发送对应的查询请求，所述查询请求中携带微博的标识或微博关键字段；所述查询接口与算法库，用于根据所述查询请求从存储层中查询微博数据；所述计算层，用于根据所述处理指令对所述查询接口与算法库查询到的微博数据进行处理，得到处理结果，将所述处理结果反馈给所述应用层。