互联网交易信息的数据清洗算法

摘要

本发明提供了一种针对不同互联网交易平台来源的数据进行清洗的方法，首先将数据库中的元组进行分类，将其中确定正确的元组数据进行与专家知识库进行模式交互，以基于知识库检索内容的模糊匹配为工具，获得其相应的模式知识。然后利用找到的模式知识，对数据中存在质量问题且适用的数据进行清洗。同时，针对不同类型海量数据的质量错误也提出了适宜的高效检测方案。而采用BP神经网络方法实现自学的专家知识库为互联网交易信息数据清洗提供了更加高效、安全的清洗方式。

主权项

一种互联网交易信息的数据清洗算法，其特征在于，包括：将待清洗的互联网交易信息数据进行数据质量问题检测获得干净元组、正确元组和问题元组；对所述干净元组：直接送入干净数据库；对所述正确元组：生成需要向专家知识库检索关键语句，根据所述关键语句在所述专家知识库中进行查询获得专家知识库模式，所述专家知识库模式包括文本依赖关系语句，对所述专家知识库模式进行数据清洗后送入所述干净数据库；对所述问题元组：进行可行元组的判断获得适合基于专家知识库模式清洗的可行元组和不适合基于专家知识库模式清洗的不可行元组，对所述可行元组生成向所述专家知识库检索关键语句后从该专家知识库中查询获得专家知识库模式，再经过数据清洗后送入所述干净数据库，对所述不可行元组进行其他策略数据清洗后送入所述干净数据库。