日志数据的去重方法及装置

摘要

本发明公开了一种日志数据的去重方法及装置。其中，该方法包括：获取日志文件的对象元素；根据对象元素的快照ID将对象元素保存入数据集合；在将日志文件读取完毕之后，将数据集合中的数据插入到第一临时表；对第一临时表中的数据进行去重处理得到第二临时表；将第二临时表中的数据插入到数据库的正式表中。采用本发明，解决了现有技术中在数据库中对数据去重会耗费大量资源且处理速度慢的问题，实现了大幅度减少写入数据库的重复数据的效果，从而大幅度减轻了数据库对于IO、CPU资源的消耗。

主权项

一种日志数据的去重方法，其特征在于，包括：获取日志文件的对象元素；根据所述对象元素的快照ID将所述对象元素保存入数据集合；在将所述日志文件读取完毕之后，将所述数据集合中的数据插入到第一临时表；对所述第一临时表中的数据进行去重处理得到第二临时表；将所述第二临时表中的数据插入到数据库的正式表中。