一种数据实时分发处理装置及方法

摘要

一种数据实时分发处理装置及方法，涉及海量数据分发处理领域，提高多个并发数据源的海量数据实时分发处理的实时性，减少数据积压。实时分发入库模块接收一个或者多个数据源发送的数据流，并查询本模块的当前入库状态，如果所述当前入库状态满足所述数据流的入库需求，则将所述数据流存入数据集中存储模块中，如果所述当前入库状态不满足所述数据流的入库需求，则根据所述多个实时分发入库模块的当前入库状态，确定满足数据流的入库需求的一个或多个实时分发入库模块，指示所确定的实时分发入库模块将所述数据流存入数据集中存储模块中；各个实时分发入库模块的数据流入库成功后，更新当前入库状态。

主权项

一种数据实时分发处理装置，其特征在于，包括数据集中存储模块和多个实时分发入库模块，实时分发入库模块，用于接收一个或者多个数据源发送的数据流，并查询本模块的当前入库状态，如果所述当前入库状态满足所述数据流的入库需求，则将所述数据流存入数据集中存储模块中，如果所述当前入库状态不满足所述数据流的入库需求，则根据所述多个实时分发入库模块的当前入库状态，确定满足数据流的入库需求的一个或多个实时分发入库模块，指示所确定的实时分发入库模块将所述数据流存入数据集中存储模块中；在入库成功后，更新本模块的当前入库状态；还用于根据其它实时分发入库模块的指示将相应的数据流存入数据集中存储模块中；所述数据集中存储模块，用于接收并存储各个实时分发入库模块发送的数据流。