发明名称 | 面向流式数据处理的SQL查询计划生成方法 | ||
摘要 | 本发明公开了一种面向流式数据处理的SQL查询计划生成方法,其特征在于,包括以下步骤:接收用户输入的SQL命令,判断SQL命令的语法是否正确,若SQL命令的语法正确,则对SQL命令执行预处理,判断预处理后的SQL命令是否为连续任务,若SQL命令为连续任务,则将连续任务转换为流式任务,对流式任务执行解析和优化,以生成查询计划,(7)执行查询计划。本发明能够根据数据的特点产生最优的SQL查询分析计划,处理速度快,解析效率高,特别适用于流式数据处理领域,同时还允许用户使用SQL自定义数据的格式。 | ||
申请公布号 | CN102609451B | 申请公布日期 | 2014.12.17 |
申请号 | CN201210006914.X | 申请日期 | 2012.01.11 |
申请人 | 华中科技大学 | 发明人 | 金海;赵峰;袁平鹏;刘述曦;张冬洁 |
分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
代理机构 | 华中科技大学专利中心 42201 | 代理人 | 朱仁玲 |
主权项 | 一种面向流式数据处理的SQL查询计划生成方法,其特征在于,包括以下步骤:(1)接收用户输入的SQL命令;(2)判断所述SQL命令的语法是否正确;(3)若所述SQL命令的语法正确,则对所述SQL命令执行预处理;(4)判断预处理后的所述SQL命令是否为连续任务;(5)若所述SQL命令为连续任务,则将所述连续任务转换为流式任务;(6)对所述流式任务执行解析和优化,以生成查询计划,具体包括以下子步骤:(6‑1)接收所述流式任务,并对所述流式任务执行语义分析,以判断所述流式任务的语义是否正确;(6‑2)若所述流式任务的语义正确,则利用开源语法分析器解析所述流式任务,以生成SQL抽象语法树;(6‑3)根据所述SQL抽象语法树生成逻辑计划树;(6‑4)根据所述逻辑计划树生成所述查询计划;(6‑5)评估查询计划,以生成最终的查询计划;(7)执行所述查询计划:递归访问查询计划,将所述查询计划分解为一系列MapReduce任务,然后将任务提交给Hadoop集群。 | ||
地址 | 430074 湖北省武汉市洪山区珞喻路1037号 |