大数据流程建模分析引擎

摘要

本发明公开了一种大数据流程建模分析引擎，包括界面层、应用逻辑层、数据分析算法层和平台层；对海量数据进行分析处理时通过界面层进行数据分析建模操作，生产数据分析模型，通过任务调度层对数据分析模型进行解析并调取对应的算法包形成可执行的数据分析任务，最终通过平台层的计算和存储资源执行任务得到结果；本发明基于spark的设计理念，在用户进行流程化数据建模分析操作，来解析用户的数据分析操作步骤及流程，最终通过流程调用spark，将用户的数据分析操作步骤全部进行内存处理后，最终输出结果，从而达到高效的一体化流程。

主权项

一种大数据流程建模分析引擎，其特征在于：包括平台层、任务调度层和界面层；所述平台层完成资源调度、分配工作；所述任务调度层包括校验模块、解析模块、任务调度模块和算法包；其中，所述校验模块提供数据分析流程是否符合流程设计规则的校验功能，符合校验规则的部分，可以进入解析模块；所述解析模块提供将界面层生成的数据分析流程的转换为可执行的数据分析流程任务的解析功能；所述任务调度模块根据解析模块生成的完整的数据分析流程，调度所述算法包中的各类数据分析算法接口，组成完整的可运行的分析流程任务程序，并调度底层资源进行数据分析程序的执行；所述界面层：提供数据分析建模操作的平台界面，每一个数据分析的算法包均在界面上以唯一标识的可拖拽式组件存在，用户通过界面操作各算法组件，并以有向线条连接，表示数据分析流程方向和步骤，组合成完整的业务数据分析算法模型，通过界面的启动功能运行后台任务调度模块和算法包，调度资源完成数据的快速分析和处理。