一种大数据并发存储系统及方法

摘要

本发明涉及一种数据库存储领域，尤其涉及一种大数据并发存储系统及方法。包括配置单元，设置数据分流时的标示符规则及判定规则；获取模块，根据标示符的规则获取每条数据的并发数序列号和顺序序列号；路径配置模块，根据分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，对每条数据进行分流判定，判定数据的表单序列号；路径模块，根据路径配置模块的判定条件查找表单序列号对应的存储路径，并将每条数据存储至相应的表单模块中。本发明通过设置以时间维度为基准的数据流水号，每一秒钟最大可达到存储千条的数据量，能够实现百万级千万级数据量的快速存储，降低存储系统在超负荷存储过程中崩溃的风险。

主权项

一种大数据并发存储系统，应用于对服务端即时产生的若干条数据的存储中,其特征在于，包括：配置单元，用于设置每条所述数据在进行数据分流时的标示符的规则及分流的判定规则，且所述标示符包括顺序序列号、并发数序列号和表单序列号；获取模块，分别与所述配置单元和所述服务端连接，以根据所述标示符的规则获取每条所述数据的并发数序列号和顺序序列号；路径配置模块，与所述配置单元连接，以根据所述分流的判定规则设置数据分流的判定条件以及分流的存储表单；判定模块，分别与所述配置单元和所述获取模块连接，以根据所述并发数序列号利用所述判定规则对每条所述数据进行分流判定，判定所述数据的表单序列号；若干个表单模块，用于存储各个表单中的数据；路径模块，分别与所述判定模块、路径配置模块和所述若干个表单模块连接，根据所述路径配置模块的判定条件查找所述表单序列号对应的存储路径，并根据所述存储路径将每条数据存储至相应的所述表单模块中。