具有数据清洗的海量数据系统

摘要

本发明公开了具有数据清洗的海量数据系统，包括：数据采集模块：从各类数据源收集数据到数据处理中心，数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，数据清洗模块：首先完成数据分析、定义错误类型，其次完成搜索、识别错误记录，最后修正错误；数据存储管理模块：对经过所述数据处理模块加工处理之后的数据进行存储管理；数据服务模块：实现客户对数据的访问需求，数据监控模块：对所述数据采集模块、数据处理模块、数据服务模块中的数据进行监控记录和处理。本发明能发现结构级错误和记录级错误并修正，解决值缺失、值错误、重复记录以及数据源内部与数据源之间不一致性的错误。

主权项

具有数据清洗的海量数据系统，其特征在于，包括：数据采集模块：从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，生成标准格式的数据产品，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品；对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的数据；数据清洗模块：首先完成数据分析、定义错误类型，其次完成搜索、识别错误记录，最后修正错误；数据存储管理模块：对经过所述数据处理模块加工处理之后的数据进行存储管理；数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；数据监控模块：对所述数据采集模块中的数据收集过程、数据处理模块的数据处理、数据服务模块中的数据访问过程进行监控记录和处理。