一种大数据的高效处理方法及系统

摘要

本发明涉及一种大数据的高效处理方法，包括：数据节点接收待存储的数据；数据节点对数据进行存储，同时，根据业务场景创建索引并保存在内存中，并通过索引固化逐步保存在磁盘中；用户输入任务请求，SQL引擎根据创建的索引实现数据快速检索，并向计算节点输出数据；管理节点的任务处理模块执行任务调度，并向资源管理模块申请资源，确定空闲的计算节点，并由该计算节点对数据进行处理；将最终的处理数据呈现给用户。本发明还公开了一种大数据的高效处理系统。本发明的所有处理都是并发执行的，最大限度的利用了计算机的硬件设备，极大地提高了处理效率，使用户执行任务时能更快获得处理结果。

主权项

一种大数据的高效处理方法，该方法包括下列顺序的步骤：（1）数据节点接收待存储的数据；（2）数据节点对数据进行存储，同时，根据业务场景创建索引并保存在内存中，并通过索引固化逐步保存在磁盘中；（3）用户输入任务请求，SQL引擎根据创建的索引实现数据快速检索，并向计算节点输出数据；（4）管理节点的任务处理模块执行任务调度，并向资源管理模块申请资源，确定空闲的计算节点，并由该计算节点对数据进行处理； （5）将最终的处理数据呈现给用户。