一种基于数据仓库的数据清洗方法

摘要

本发明公开了一种基于数据仓库的数据清洗方法，该数据清洗方法包括预处理、给属性分配权值、重复记录检测、数据库级的重复记录聚类以及冲突处理；预处理：选择用于记录匹配的属性，该属性能代表记录特征；给属性分配权值：根据属性在决定两条记录相似性中重要程度的不同，为每个属性分配不同的权重；数据库级的重复记录聚类：在数据库应用检测重复记录的算法中减少比较记录的范围，对整个数据集中的重复记录进行聚类；冲突处理：合并或者删除检测出的同一重复记录聚类的重复记录，保留其中正确的记录。本发明能检测大批量的数据源的错误并改正，有效降低清洗过程的复杂程度，提高清洗效率，保证了数据集的质量，提高数据仓库的运行效果。

主权项

一种基于数据仓库的数据清洗方法，其特征在于，该数据清洗方法通过预处理、给属性分配权值、重复记录检测、数据库级的重复记录聚类以及冲突处理五个步骤实现；预处理：选择用于记录匹配的属性，该属性能代表记录特征；给属性分配权值：根据属性在决定两条记录相似性中重要程度的不同，为每个属性分配不同的权重；数据库级的重复记录聚类：在数据库应用检测重复记录的算法中减少比较记录的范围，对整个数据集中的重复记录进行聚类；冲突处理：合并或者删除检测出的同一重复记录聚类的重复记录，保留其中正确的记录。