一种基于内存计算的分布式数据分析处理方法

摘要

本发明提供了一种基于内存计算的分布式数据分析处理方法，包括如下步骤：1）提供一个类SQL解析器，将传入的查询分析文本解析为相应的逻辑计划，并进行初步优化；2）提供一个任务转换器，将类SQL解析器生成的逻辑计划转换为可为大数据内存计算模型识别的计算表达式，包含多个自定义的转化类；3）提供一个查询优化器，将传入的内存计算模型可识别的表达式转化为逻辑计划同时对逻辑计划进行优化，然后转化为物理执行计划。针对传统大数据处理在数据查询分析处理上的空缺，本发明提供了一种基于内存计算的分布式数据分析处理方法，继承了内存计算模型在数据处理方面的优势，使得数据查询分析的编程语言更加简单。

主权项

一种基于内存计算框架的分布式数据分析处理方法，其特征在于，包括以下步骤：1）提供一个类SQL解析器，将传入的查询分析文本解析为相应的逻辑计划，并进行初步优化；2）提供一个任务转换器，将类SQL解析器生成的逻辑计划转换为可为大数据内存计算模型识别的计算表达式，包含多个自定义的转化类；3）提供一个查询优化器，将传入的内存计算模型可识别的表达式转化为逻辑计划同时对逻辑计划进行优化，然后转化为物理执行计划，即将优化后的逻辑执行计划映射到物理执行操作类，这些操作类都是对RDD的操作，也就是对数据的操作。