MapReduce系统中的任务分配方法、系统及装置

摘要

本发明公开了一种MapReduce系统中任务分配的方法、系统及装置，用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障，从而影响MR系统可靠性的问题。该方法在原有MR系统中增加对各个客户端进行管理的客户端管理节点，客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端，并指示该确定的客户端进行对待处理的数据进行数据分片处理。由于在本发明实施例中客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端，从而可以减小资源利用信息不满足条件的客户端进行业务处理的风险，并减小该客户端出现宕机的可能性，进而提高了MR系统的可靠性。

主权项

一种映射化简MapReduce系统中的任务分配方法，其特征在于，包括：客户端管理节点接收数据分片任务；所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端；所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端。