调节mapper在多核上执行的方法及装置

摘要

本发明提出一种调节mapper在多核上执行的方法及装置。其中所述方法包括以下步骤：监控每个mapper的平均处理速度；将每个mapper的平均处理速度与全局的mapper的平均处理速度进行比较，以确定速度慢的mapper；确定速度慢的mapper所在的机器上是否有空闲资源；以及如果是，则将速度慢的mapper的单线程处理拆分成多线程处理，并将多线程处理分配到多核上执行。根据本发明实施例的方法，可以保证调度的任务尽快完成，整个响应/计算的过程可以节约大量时间，极大地提升了集群性能。

主权项

一种调节mapper在多核上执行的方法，其特征在于，在Hadoop的架构下包括Mapreduce引擎，所述Mapreduce引擎由JobTrackers和TaskTrackers组成，所述TaskTracker用于管理节点上的多个mapper，所述方法包括以下步骤：监控每个mapper的平均处理速度；将所述每个mapper的平均处理速度与全局的mapper的平均处理速度进行比较，以确定速度慢的mapper；确定所述速度慢的mapper所在的机器上是否有空闲资源；以及如果是，则将所述速度慢的mapper的单线程处理拆分成多线程处理，并将所述多线程处理分配到所述多核上执行。