一种数据处理系统和方法

摘要

本发明公开了一种数据处理系统和方法，涉及数据处理技术领域，其中的系统包括：原数据存储装置、数据分析装置和目标数据存储装置；原数据存储装置存储从数据源采集的原数据；数据分析装置对原数据存储装置存储的原数据进行分析，并从原数据中筛选出目标数据，将目标数据存储在目标数据存储装置中。本发明的数据处理系统和方法，能够预先筛选出所需的目标数据，并在进行数据分析或展示时可以直接使用目标数据，提升了数据处理的效率，降低了数据处理的复杂度，并能够节省系统资源；并且，采用了基于HDFS和MapReduce的Hadoop集群架构可以提升对大数据量的处理效率，并可以简化数据一致性的问题。

主权项

一种数据处理系统，其特征在于，包括：原数据存储装置、数据分析装置和目标数据存储装置；所述原数据存储装置存储从数据源采集的原数据；所述数据分析装置对所述原数据存储装置存储的原数据进行分析，并从所述原数据中筛选出目标数据，将所述目标数据存储在所述目标数据存储装置中。