数据采集存储方法及系统

摘要

本发明属于移动互联网领域，具体为数据采集存储方法及系统，能够提高存储效率。数据采集存储方法包括：采集数据传输节点之间传输的数据；将采集到的所述数据送入第一缓存；当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；将经过滤处理得到的所述有效数据进行存储。所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包，进而采集所述二进制数据包。

主权项

数据采集存储方法，其特征在于，包括：采集数据传输节点之间传输的数据；将采集到的所述数据送入第一缓存；当所述第一缓存中的所有数据形成的长度达到预设阈值时，将第一缓存中的所有数据批量送入第二缓存；在第二缓存中，根据预先设置的过滤条件，对采集到的所有数据进行过滤处理，得到有效数据；将经过滤处理得到的所述有效数据进行存储；所述采集数据传输节点之间传输的数据之前，还包括：采用分光器将数据传输节点之间传输的信号分出一部分；将分出的这部分信号转换为二进制数据包；所述采集数据传输节点之间传输的数据包括：采集所述二进制数据包；在采集到所述二进制数据包之后，所述采集数据传输节点之间传输的数据还包括：向所述二进制数据包中添加时间戳标识；将添加了时间戳标识的二进制数据包送入所述第一缓存中；当所述第一缓存中存储的所有二进制数据包形成的长度达到所述预设阈值时，采用DMA技术将所有二进制数据包批量送入所述第二缓存中，以执行所述对采集到的所有数据进行过滤处理的步骤；在所述对采集到的所有数据进行过滤处理之后，该方法进一步包括：根据预先设置的IP地址类别，对经过滤处理得到的所述有效数据进行分流处理，得到均等的多股数据；所述将经过滤处理得到的所述有效数据进行存储，进一步包括：将经分流处理得到的每一股数据根据所述时间戳标识进行顺序排列后再进行分别存储 。