一种大批量数据处理系统及方法

摘要

本发明公开了一种大批量数据处理系统，包括：缓存装置，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置，用于对原始数据进行处理，得到数据结果；检测装置，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置中；以及存储装置，用于持久性存储所述原始数据和数据结果。利用本发明的方案使得在处理大批量数据信息时效率高，稳定性好。

主权项

一种大批量数据处理系统，该系统包括：缓存装置(2)，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置(4)，用于对原始数据进行处理，得到数据结果；检测装置(5)，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置(7)，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置(6)中，进而保证数据的完整性；以及存储装置，用于持久性存储所述原始数据和数据结果。