基于storm 的实时数据计算平台

摘要

本发明公开了基于storm 的实时数据计算平台，包括：数据采集模块，其采集网络数据，并将网络数据处理成预设固定格式的数据流；数据分类模块，其与数据采集模块连接，将数据流根据预设的分组条件分成子数据流并存储；数据计算控制模块，其与数据分类存储模块连接，对数据进行计算控制。本发明的有益效果是本发明支持对数据的提取、过滤、截断、切分、格式化，可对庞大的连续的数据流进行提取、过滤、分析操作，实时性高、有效性高，在数据接入的过程中通过本发明就已经被处理成方便使用、处理、存储的数据。本发明可计算复杂度高、维度多的数据，低成本、高效率、安全性高。

主权项

基于storm 的实时数据计算平台，其特征在于，包括：数据采集模块，其采集网络数据，并将网络数据处理成预设固定格式的数据流；数据分类模块，其与所述数据采集模块连接，将数据流根据预设的分组条件分成子数据流并存储；数据计算控制模块，其与所述数据分类存储模块连接，所述数据计算控制模块包括数据筛选单元，数据比对过滤单元，数据计算单元和数据计算结果分发单元，所述数据筛选单元根据预设筛选条件对存储的子数据流进行筛选，所述数据比对过滤单元将筛选过的子数据流和所需的数据流进行比对过滤，所述数据计算单元根据预设的计算表达式进行计算通过所述数据计算结构分发单元将计算结果分发输出。