一种基于SQL的文本数据统计实现方法

摘要

本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。

主权项

一种基于SQL的文本数据统计实现方法，其特征在于：构建基于一个文本统计协调器和多个文本统计执行器的分布式文本数据统计集群系统，所述文本统计协调器包括统一元数据管理模块、查询优化模块、SQL语法解析模块、结构化数据仓库SQL执行模块、分布式通信模块；所述文本统计执行器包括SQL语法向全文检索语义翻译模块、全文检索结果向结构化数据仓库导入模块，并且通过如下步骤实现：步骤1：文本统计协调器对输入SQL语法进行解析，提取所有存储在全文索引引擎中数据的子查询；步骤2：文本统计协调器在结构化数据仓库中建立和子查询投影结构一致的临时表，并将原查询语句的子查询部分重写为基于临时表的查询；步骤3：文本统计协调器识别全文索引引擎数据分布规则，向每个文本数据存储端部署的文本统计执行器下发，并将全文索引引擎的子查询结果导入到结构化数据仓库引擎；步骤4：文本统计执行器将文本统计协调器下发请求中基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；步骤5：文本统计执行器获取全文索引查询结果，并将结果导入到结构化数据仓库引擎临时表中；步骤6：文本统计协调器等待每个文本统计执行器完成查询结果导入过程，待导入结束后向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。