| 发明名称 | MapReduce架构中的资源管理方法、装置和架构系统 | ||
| 摘要 | 本发明实施例公开了一种用于MapReduce架构中的资源管理的方法、装置和MapReduce架构系统。该方法包括：确定Map任务的输入数据量和Map任务的输出数据量之比r以及Map输出结果中记录的平均大小R；确定一个Map资源槽对应的能够分配给Map任务的内存大小Memory_Size；根据所确定的r、R和Memory_Size，确定适合该Map任务的输入切片大小；以及将待处理的MapReduce作业中具有该输入切片大小的输入分片分配给占用该Map资源槽的Map任务。通过利用上述方法，可以尽量避免磁盘溢出，从而提高处理效率，避免资源浪费。 | ||
| 申请公布号 | CN103970520A | 申请公布日期 | 2014.08.06 |
| 申请号 | CN201310037826.0 | 申请日期 | 2013.01.31 |
| 申请人 | 国际商业机器公司 | 发明人 | 史巨伟;李立;邹嘉;于琦 |
| 分类号 | G06F9/44(2006.01)I;G06F9/50(2006.01)I | 主分类号 | G06F9/44(2006.01)I |
| 代理机构 | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人 | 李镇江 |
| 主权项 | 一种用于MapReduce架构中的资源管理的方法，包括：确定Map任务的输入数据量和Map任务的输出数据量之比r以及Map输出结果中记录的平均大小R；确定一个Map资源槽对应的能够分配给Map任务的内存大小Memory_Size；根据所确定的r、R和Memory_Size，确定适合该Map任务的输入切片大小；以及将待处理的MapReduce作业中具有该输入切片大小的输入分片分配给占用该Map资源槽的Map任务。 | ||
| 地址 | 美国纽约 | ||