数据挖掘方法和数据挖掘系统

摘要

本发明公开了数据挖掘方法及数据挖掘系统，本发明方法包括：设置数据挖掘的工作流，所述工作流中包括多个并行的数据处理任务；启动所述工作流，并在所述多个并行的数据处理任务被触发时，为其中的每个数据处理任务分配执行节点，以使所述多个并行的数据处理任务在分配的执行节点上并行执行；以及，所述执行节点在执行每个数据处理任务时，通过Map/Reduce机制将数据处理任务分配给并行执行的Map任务进行处理，将该数据处理任务对应的各Map任务的处理结果通过相应的Reduce任务进行合并处理得到相应数据处理任务的处理结果。采用本发明，可提高数据挖掘效率。

主权项

一种数据挖掘方法，其特征在于，包括：设置数据挖掘的工作流，所述工作流中包括多个并行的数据处理任务；启动所述工作流，并在所述多个并行的数据处理任务被触发时，为其中的每个数据处理任务分配执行节点，以使所述多个并行的数据处理任务在分配的执行节点上并行执行；以及所述执行节点在执行每个数据处理任务时，通过映射Map/简化Reduce机制将数据处理任务分配给并行执行的Map任务进行处理，将该数据处理任务对应的各Map任务的处理结果通过相应的Reduce任务进行合并处理得到相应数据处理任务的处理结果。