一种基于Hadoop的海量数据实时分析处理方法

摘要

本发明涉及一种基于云平台的海量数据通讯系统，所述系统包括：多台机器，对其进行联网以调配成云平台，所述云平台至少包括：主服务器，Map服务器，Reduce服务器；其中通过所述主服务器上的数据库管理界面，连接到数据库，读取原始数据列表，再将数据列表存储到Map服务器上；当所述Map服务器执行完任务，并计算出中间结果，需要将该中间结果发送给所述Reduce服务器；当所述Reduce服务器执行完任务，将最终结果发送给所述主服务器；所述主服务器接收最终结果，并用可视化的形式呈现给用户。

主权项

一种基于Hadoop的海量数据实时分析处理方法，所述方法包括：1、将服务器进行联网，调配成云平台，所述云平台中至少包括：Client服务器，Nami ng服务器，Map服务器，Reduce服务器；2、将原始数据部署到Map服务器；3、用户向Client服务器发起分析需求，当Client服务器接到客户发起的分析需求时，首先要向Naming服务器获取当前Map‑Reduce状态，以便制定Job；4、当Naming服务器接到Cli ent服务器发起的获取计划需求时，根据获取到的当前的Map服务器、Reduce服务器的状态，产生一个计划表；5、当Client服务器接收到计划表后，开始生成Job；6、Client服务器生成完Job后，将Reduce Task发给Reduce服务器，Map Task发给Map服务器；7、当Map服务器接收到Map Task时，执行该任务；8、当Reduce服务器接收到Reduce Task时，执行该任务；9、当Reduce服务器接收到Map Task返回的结果，Reduce服务器读取返回的结果里的Client Key，生成与之对应的Reduce Key，并去白板里记录已有一个Map Task完成任务；10、Reduce服务器将最终结果返回给Client服务器，Client服务器再将所述结果以可视化方式展现给终端用户。