一种基于Hadoop的数据批处理系统和方法

摘要

本发明提供一种基于Hadoop的数据批处理系统和方法，该系统包括：应用接口模块，包括Push接口和Pop接口；任务调度模块，用于调度Push接口接收的任务；任务执行模块，用于处理所述任务；和结果收集模块，用于解析并推送所述任务的处理结果。通过本发明，开发人员只需简单的调用两个简单的接口就可以解决处理大数据的需求，使得开发人员的着力点放在数据处理前后的流程控制和其他的开发需求，而不需要掌握Hadoop，大大减少了其工作量和开发时间。

主权项

一种基于Hadoop的数据批处理系统，其特征在于，该系统包括：应用接口模块，包括Push接口和Pop接口；任务调度模块，用于调度Push接口接收的任务；任务执行模块，用于处理所述任务；结果收集模块，用于解析并推送所述任务的处理结果。