发明名称 一种MapReduce任务资源配置参数的机器学方法
摘要 本发明涉及第2代Hadoop中YARN平台的作业优化技术,特别涉及一种MapReduce任务资源配置参数的机器学方法。本发明通过引入机器学方法,构建了一种学器,能够为YARN平台中提交的MapReduce作业选择合适的运行参数,以提高平台运行效率,缩短作业完成时间。
申请公布号 CN103593323A 申请公布日期 2014.02.19
申请号 CN201310547034.8 申请日期 2013.11.07
申请人 浪潮电子信息产业股份有限公司 发明人 王恩东;胡雷钧;张东;吴楠;刘璧怡
分类号 G06F15/18(2006.01)I;G06F9/50(2006.01)I 主分类号 G06F15/18(2006.01)I
代理机构 代理人
主权项 一种MapReduce任务资源配置参数的机器学习方法,包括以下步骤:A、预测任务完成时间;B、预测平台并发任务数;C、计算作业完成时间并判断时间是否最优,如果是则提交作业,如果否则重新进行步骤A。
地址 250014 山东省济南市高新区舜雅路1036号