| 主权项 |
一种基于历史信息的HDFS数据块放置策略，其特征在于，包括以下步骤：1)、机架的性能差异的判定：1.1)分析历史日志信息，统计集群中完成的作业的个数n；1.2)对于一个作业，统计每个机架中运行该作业的每个节点所处理的数据量，以及处理该数据量所花费的时间，由此计算出整个机架中的所有节点运行该作业所处理的数据总量以及所花费的总时间，然后计算出整个机架中的所有节点运行该作业的处理速率；1.3)对各个机架中所有节点运行所有作业的速率进行做比运算，得到各个机架之间处理能力的差异；2)、数据块在机架之间的分配：2.1)计算需要放置数据块的总数；2.2)计算每个机架处理作业的速率与整个机架处理作业速率和的比值；2.3)由放置数据块个数乘以2.2)步骤中的比值计算出数据块在每个机架的放置的数据块数量；3)、机架中节点的处理能力的判定：3.1)分析历史日志信息中的各个节点完成的map任务的情况，统计出一个机架中的各个节点的所完成的map任务的输入数据量以及处理完该数据量所花费的时间，由此计算出各个节点的处理速率；3.2)计算出每个机架中的各个节点的处理速率之后，将同一机架中的各个节点的处理能力进行比较，得到同一机架上的各个节点之间处理能力的性能比值；4)、确定机架中节点放置的数据块数量：4.1)计算出机架中每个节点处理作业的速率与当前机架中所有节点处理作业速率和的比值；4.2)由2.2)所得一个机架上放置数据块数量乘以4.1)步骤中的比值计算出数据块在机架中每个节点放置的数据块数量；5)、数据节点选择策略：当为一个数据块选择放置节点时，遵循以下原则：首先选择处理能力最强的机架上的处理能力最强的两个节点放置第一个和第二个副本，然后选择另外一个机架中最强的节点放置第三个副本，如果所选定的机架上所有节点上已经放置的数据块的个数达到了机架预先设定的大小，就选择剩余机架中处理能力最强的；如果选择的处理能力最强的节点上已经放置的数据块数目达到了节点预先设定的大小，则选择该机架中剩余节点中处理能力最强的。 |
