一种数据实时分发处理装置及方法

摘要

一种数据实时分发处理装置及方法，涉及海量数据分发处理领域，提高多个并发数据源的海量数据实时分发处理的实时性，减少数据积压。实时分发入库模块接收一个或者多个数据源发送的数据流，并查询本模块的当前入库状态，如果所述当前入库状态满足所述数据流的入库需求，则将所述数据流存入数据集中存储模块中，如果所述当前入库状态不满足所述数据流的入库需求，则根据所述多个实时分发入库模块的当前入库状态，确定满足数据流的入库需求的一个或多个实时分发入库模块，指示所确定的实时分发入库模块将所述数据流存入数据集中存储模块中；各个实时分发入库模块的数据流入库成功后，更新当前入库状态。

主权项

一种数据实时分发处理装置，其特征在于，包括数据集中存储模块和多个实时分发入库模块，实时分发入库模块，用于接收一个或者多个数据源发送的数据流，并查询本模块的当前入库状态，如果所述当前入库状态满足所述数据流的入库需求，则将所述数据流存入数据集中存储模块中，如果所述当前入库状态不满足所述数据流的入库需求，则根据所述多个实时分发入库模块的当前入库状态，确定满足数据流的入库需求的一个或多个实时分发入库模块，指示所确定的实时分发入库模块将所述数据流存入数据集中存储模块中；在入库成功后，更新本模块的当前入库状态；还用于根据其它实时分发入库模块的指示将相应的数据流存入数据集中存储模块中；所述数据集中存储模块，用于接收并存储各个实时分发入库模块发送的数据流；当前入库状态包括可用存储空间和入库速度，当可用存储空间高于数据流的需求空间并且入库速度高于设置的最低阈值时，满足所述数据流的入库需求；在所有实时分发入库模块的当前入库状态都不满足所述数据流的入库需求时，所述实时分发入库模块确定一个入库速度高于设置的最低阈值并且可用存储空间最接近数据流的入库需求的实时分发入库模块，再确定一个或者多个入库速度高于设置的最低阈值并且可用存储空间满足剩余数据流的入库需求的实时分发入库模块，由确定的两个或者多个时分发入库模块将所述数据流存入数据集中存储模块中；或者，在所有实时分发入库模块的当前入库状态都不满足所述数据流的入库需求时，所述实时分发入库模块确定两个或者多个实时分发入库模块入库速度高于设置的最低阈值、组合后可用存储空间满足数据流的入库需求并且最接近的数据流的入库需求，由所述两个或者多个实时分发入库模块将所述数据流存入数据集中存储模块中。