一种在线管理Hadoop集群资源的方法和装置

摘要

本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括：对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量knew；若knew和k不等，则将生产环境集群中运行代价最小的虚拟机调整至knew台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。

主权项

一种在线管理Hadoop集群资源的方法，其特征在于，所述方法包括：作业管理器对生产环境集群中用户所提交作业运行情况进行监控；日志分析器获取在所述生产环境集群中使用k台运行代价TotalCost最小的虚拟机中的任意一台作为虚拟资源运行所述用户所提交作业中m个map任务和r个reduce任务时所述m个map任务的槽平均处理速度MapSlotSpeed和所述r个reduce任务的槽平均处理速度ReduceSlotSpeed；代价预测器根据虚拟机信息数据库保存的所述运行代价TotalCost最小的虚拟机的性能特征、所述MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间ExpectTime，重新确定在所述生产环境集群中运行所述用户所提交作业需要所述运行代价TotalCost最小的虚拟机的数量knew；虚拟资源管理器比较所述knew和所述k，若所述knew和所述k不等，则将所述生产环境集群中所述运行代价TotalCost最小的虚拟机的数量调整至knew台。