一种基于Hadoop框架的分布式文件监控系统

摘要

本发明公开了一种基于Hadoop框架的分布式文件监控系统，涉及图像数据处理技术领域，包括Hadoop集群和Client端，所述Hadoop集群中包括一个NameNode节点模块、一个NameNode代理模块、至少一个DataNode节点模块、一个含有配置文件和调度算法的匹配模块以及响应算法模块；所述NameNode代理模块接收Client端发来的HadoopClientProcotol接口中的函数信息，并转发该函数信息给NameNode节点模块，同时获取配置文件中配置的信息；本发明中的NameNode代理模块可获取所有的请求和消息，实现了对分布式文件系统的完全监控，并通过后续响应算法支持监控的同时做出处理。

主权项

一种基于Hadoop框架的分布式文件监控系统，其特征在于，包括Hadoop集群和Client端，所述Hadoop集群中包括一个NameNode节点模块、一个NameNode代理模块、至少一个DataNode节点模块、一个含有配置文件和调度算法的匹配模块以及响应算法模块；所述NameNode代理模块接收Client端发来的Hadoop ClientProcotol接口中的函数信息，并转发该函数信息给NameNode节点模块，同时获取配置文件中配置的信息；NameNode节点模块通过Hadoop自带的心跳机制管理DataNode节点模块，DataNode节点模块负责存储和计算；所述匹配模块将NameNode代理模块发来的参数与配置文件中的参数进行比对，若匹配成功则调用配置文件中对应的算法。