一种HDFS高可用性方案的实现方法

摘要

本发明涉及一种采用热备NameNode的HDFS高可用方案的实现方法。本发明在原有HDFS架构的基础上，引进一个热备的NameNode节点，即Standby NameNode。系统通过不断同步Acitve NameNode与Standby NameNode内存中的元数据，以保持名字空间的一致性。本发明在切换NameNode的时候仅导入EditLog中的数据，降低了HDFS在切换时候所需要的时间。在Active NameNode掉线不可用的时候，系统能够自动且快速的切换到Standby NameNode。本发明可以用于为Hadoop分布式文件系统提供高可用性服务。

主权项

一种采用热备NameNode的HDFS高可用方案的实现方法，其特征在于：该方法引入一个热备的NameNode，这些NameNode将具有两种状态，一种是Active状态，一种是Standby状态；处于Active状态的NameNode便为Active NameNode，此时这个Active NameNode与原始NameNode的工作一样，维护整个系统的名字空间，并对外界提供服务；处于Standby状态的NameNode便为Standby NameNode，而这个Standby NameNode仅负责维护整个系统的名字空间，并不对外提供服务；并且这两种状态是可以相互转换的，如一旦Active NameNode失效，系统切换到Standby NameNode后，这个Standby NameNode便由Standby状态转换到了Active状态，成了Active NameNode，接管集群所有工作，原先失效的Active NameNode经过人工恢复后，重新加入到集群中时，直接进入Standby状态，成为Standby NameNode，以供下次进行切换，其具体步骤为：步骤1：NameNode将从磁盘中读取文件系统镜像文件，并应用到内存中，在内存中生成元数据；步骤2：NameNode向集群中所有DataNode广播上线通知，表明该NameNode可用，DataNode在收到该通知后，会将该NameNode加入到可用NameNode列表中，以供切换的时候查询可用NameNode使用；步骤3：NameNode便转入Standby状态；NameNode在处于Stanby状态时，如果收到DataNode发来的请求，那么转入Active状态，为集群提供服务，否则一直驻留在Stanby状态。