基于混合引擎的大数据处理方法及系统

摘要

本发明提供了一种基于混合引擎的大数据处理方法及系统，本发明基于HIVE和PRESTO混合引擎以HTTP标准协议与调用者交互，使用者用类SQL查询和处理大数据。根据提交任务的方式不同后台选择HIVE或者PRESTO引擎来执行数据查询任务，并将查询的结果基于HTTP协议以JSON格式返回给用户。本发明主要基于HIVE和PRESTO混合引擎，综合查询助手系统根据用户的需求，可以灵活自主地选择慢速查询hive和快速查询quick，对于数据量不是特别大时间跨度为最近2个月的对执行时间要求比较高的查询任务，这种任务由PRESTO引擎执行，对数据量比较大时间跨度比较长对执行时间要求不高的查询任务，这种任务由HIVE引擎执行，满足了用户个性化数据查询需要。

主权项

一种基于混合引擎的大数据处理方法，其特征在于，包括：以HTTP协议的方式与用户交互，获取用户根据自己需求选择的以快速查询或者慢速查询的方式提交的数据查询任务；根据提交任务的方式在后台选择HIVE或者PRESTO引擎来执行所述数据查询任务，并将查询的结果基于HTTP协议以JSON格式的方式返回给用户。