一种数据库转换与清洗信息处理方法

摘要

本发明涉及一种数据库转换与清洗信息处理方法，包括：1)目标数据库连接至数据源；2)选择目标数据库中需要清洗的目标数据表；3)选择更新方式，若为增量更新，则执行步骤4)；若为全量更新，则执行步骤10)；4)获得目标数据表中最大的更新时间last_update，若目标数据表为空，则last_update默认为设定时间；5)筛选数据源中更新时间大于last_update的所有记录至一个临时表temp_table中；6)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录；7)通过目标数据表与临时表temp_table比较，得到临时表temp_table中已存在于目标数据表中的记录；等步骤。与现有技术相比，本发明具有有效避免在数据清洗过程中的数据重复和遗漏问题，保证数据的一致性和完整性等优点。

主权项

一种数据库转换与清洗信息处理方法，其特征在于，包括以下步骤：1)目标数据库连接至数据源；2)选择目标数据库中需要清洗的目标数据表；3)选择更新方式，若为增量更新，则执行步骤4)；若为全量更新，则执行步骤10)；4)获得目标数据表中最大的更新时间last_update，若目标数据表为空，则last_update默认为设定时间；5)筛选数据源中更新时间大于last_update的所有记录至一个临时表temp_table中；6)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录；7)通过目标数据表与临时表temp_table比较，得到临时表temp_table中已存在于目标数据表中的记录；8)剔除临时表temp_table中已存在于目标数据表中的记录；9)将临时表temp_table中剩余的全部记录，插入目标数据表中，并执行步骤14)；10)将数据源一端的数据，组织为目标数据表结构形式，并将全部记录保存至临时表temp_table中；11)采用目标数据表中的约束字段来剔除临时表temp_table中的重复记录；12)清空目标数据表；13)将临时表temp_table中的全部记录插入目标数据表中。14)记录更新日志。