一种基于MapReduce机制的任务调度方法和系统

摘要

本发明提供一种基于MapReduce机制的任务调度方法和系统，该方法包括：对以MapReduce云计算环境中的计算节点进行区域划分，包括安全域、调度域和冲突域；将MapReduce作业中的Map子任务调度至安全域的计算节点上，将每个Map子任务的副本调度至调度域的计算节点上；对Map子任务和Map子任务副本的执行环境和部分中间结果进行哈希校验，Reduce子任务分别利用Map子任务阶段生成的执行环境校验值和中间结果校验值校验自身的执行环境和输入数据。利用本发明，普通用户提交的作业的运行环境可以有效地和恶意用户隔离，并能以更高效的方式保证作业计算结果的完整性。

主权项

一种基于MapReduce机制的任务调度方法，其步骤包括：1）对以MapReduce技术构建的云计算环境中的计算节点基于安全标签进行区域划分，包括安全域、调度域和冲突域；2）将MapReduce作业分为若干Map子任务以及若干Reduce子任务，将Map子任务调度至所述安全域的计算节点上，为每个Map子任务建立副本并将所述副本调度至所述调度域的计算节点上；3）对所述Map子任务和所述Map子任务的副本的执行环境和部分中间结果进行哈希校验；所述Reduce子任务分别利用Map子任务阶段生成的执行环境校验值和中间结果校验值，校验自身的执行环境和输入数据。