数据动态重分布的方法、数据节点、名字节点及系统

摘要

本发明公开了一种数据动态重分布的方法、数据节点、名字节点及系统，属于互联网大数据处理技术领域。所述方法包括：第一数据节点接收数据块读取命令；根据数据块读取命令访问目标数据块；在第一数据节点上生成目标数据块的数据块副本；向名字节点发送第一修改指令。本发明通过在第一数据节点上生成目标数据块的数据块副本，使得HDFS中存储目标数据块的数据节点的数量增加，当再次分配访问目标数据块的任务时，本地任务数量增多，这样既能减少对HDFS网络资源的消耗，提高HDFS运行的速度，同时又能分担存储有目标文件的数据块的数据节点的运行任务负载，实现了负载的均衡。

主权项

一种数据动态重分布的方法，其特征在于，所述方法包括：第一数据节点接收数据块读取命令，所述数据块读取命令用于指示所述第一数据节点读取位于第二数据节点上的目标数据块，所述第二数据节点和所述第一数据节点为同一Hadoop分布式文件系统HDFS中的不同数据节点；根据所述数据块读取命令访问所述目标数据块；在所述第一数据节点上生成所述目标数据块的数据块副本；向名字节点发送第一修改指令，所述第一修改指令用于指示所述名字节点将所述目标数据块的复制因子加一。