一种快数据和大数据结合的数据处理方法及其系统

摘要

本发明公开了一种快数据和大数据结合的数据处理方法，按如下步骤进行：（1）接收不同的数据源的数据输入，并按照“快数据”和“大数据”进行分类和传输；（2）“快数据”进入了实时交易模块，实时交易模块利用分布式内存对“快数据”进行实时的运算和查询；（3）全文检索模块对“快数据”的结果进行全文检索；（4）“大数据”进入海量历史数据分析模块，存储后进行完整的查询和统计分析；（5）应用模块接收步骤（2）、步骤（3）和步骤（4）中处理后的数据，根据需要进行终端展示。同时，本发明还提供一种快数据和大数据结合的数据处理系统。本发明成本低廉，资源按需分配，性能线性扩展并方便维护。

主权项

一种快数据和大数据结合的数据处理方法，其特征在于，按如下步骤进行：（1）接收不同的数据源的数据输入，并按照“快数据”和“大数据”进行分类，然后，将“快数据”传输到实时交易模块，将“大数据”传输到海量历史数据分析模块；（2） “快数据”进入了实时交易模块，实时交易模块利用分布式内存对“快数据”进行实时的运算和查询，并将运算或查询结果输出到应用模块和全文检索模块；（3）全文检索模块对实时交易阶段处理后的“快数据”的结果进行全文检索，并将全文检索后的数据输出到应用模块； （4）“大数据”进入海量历史数据分析模块，首先利用分布式文件系统存储；然后，使用基于MapReduce并行计算模型的NoSQL分布式数据库HBase和分布式数据仓库Hive/Drill/Impala，对海量的历史数据进行完整的查询和统计分析； （5）应用模块接收步骤（2）、步骤（3）和步骤（4）中处理后的数据，根据需要进行终端展示；所述快数据是指需要“实时”的响应数据，历史积累的数据（包括快数据）为大数据。