海量数据处理方法和系统

摘要

本发明涉及计算机应用系统中的数据采集及处理技术，具体涉及应用系统软件处理海量数据时根据一定特征高效采集相关数据并根据这些特征进行相关的预处理分析的方法。具体包括以下步骤：应用系统从数据发生源采集数据，录入原始采集层的数据表中；根据原始数据的特征对数据进行第一次分类；根据数据的属性规则对已分类的数据进行二次分类；将分类后的数据录入中间数据层的数据表中；应用系统直接从中间数据表中采集数据进行进一步的运算；本发明对数据进行两次处理，大大提高了数据分析的效率，进而降低了整个应用系统硬件平台的费用，同时它保证了原始数据的正确性，完备性，减少了应用的重复工作量，使得应用系统的处理速度得到极大的提高。

主权项

1、一种在应用系统处理海量数据的方法，所述应用系统包括数据发生源、原始数据采集层、特征数据处理层和应用层，其特征在于，包括以下步骤：(1)通过TCP/IP通信协议连接，将数据发生源形成的数据传送到原始数据采集层；(2)所述原始数据采集层解析收到的数据并将其存放到所述原始数据采集层的数据表中；(3)访问预先设定的原始数据的特征库，对存放在所述数据表中的原始数据进行特征归并；(4)依据所述特征库特征的属性规则对特征归并后的数据进行预处理，并将预处理后的数据存放到所述特征数据处理层的数据表中；(5)所述应用层访问所述特征数据处理层，将从中采集到的数据作进一步计算处理，将结果整理成可识别的数据包传给应用系统其他模块。