一种并行的数据处理方法、装置和并行的数据处理系统

摘要

本申请实施例公开了一种并行的数据处理方法、装置和一种并行的数据处理系统。其中，所述方法包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。根据本申请实施例，可以支持系统在资源不足或者资源浪费的情况下快速调整集群规模。

主权项

一种并行的数据处理方法，其特征在于，包括：主设备从数据源处获知需要进行处理的待处理数据，为每个待处理数据创建一个任务；主设备在接收到从设备发送的获取任务的请求消息时，为发送请求的从设备分配任务，对从设备返回的执行结果进行合并，并且，动态记录每个任务的执行状态，所述执行状态包括未执行、执行中、已执行和已合并；主设备输出被合并任务的执行结果。