一种分布式大数据分析方法

摘要

本发明公开了一种分布式大数据分析方法，属于数据分析领域。该方法以大数据为基础，将不同算法制定统一的服务标准，根据服务标准实现的算法随机组合绘制成流程图，并根据流程图的算法节点关系，自动在spark分布式系统上执行，实现数据分析的云计算。与现有技术相比，本发明方法通过自定义数据分析流程，即可实现完整的数据分析设计，并根据算法节点关系，自动顺序在spark分布式系统上运算。本发明提供算法开发服务和标准，用户可以根据自己的业务需求实现特定的算法。根据标准增加的算法可以很好的与其他算法进行组合并在spark上运算。最终实现通过云计算挖掘数据的目的。

主权项

一种分布式大数据分析方法，其特征在于以大数据为基础，将不同算法制定统一的服务标准，根据服务标准实现的算法随机组合绘制成流程图，并根据流程图的算法节点关系，自动在spark分布式系统上执行，实现数据分析的云计算。