数据处理方法及装置

摘要

本发明实施例提供了一种数据处理方法及装置，改善了现有技术中无法在Web大数据清理阶段进行重复数据清理的问题。该数据处理方法包括：建立待处理网站数据源的网页对象数据模型；根据抽取出的数据信息建立网页数据信息模型；根据网页数据信息模型抽取出待处理网站数据源中各页面的数据项和描述对象，对各页面进行分类；根据各页面的数据项计算出每个页面的相似哈希值，判断同一类页面中各页面之间的相似哈希值之间的差值是否满足预设阈值，如果是，则判定为重复页面数据，对重复页面数据进行清理。使用该数据处理方法，可以在Web大数据清理阶段进行重复数据清理，降低了数据存储与管理的时间和成本。

主权项

一种数据处理方法，其特征在于，包括：建立待处理网站数据源的网页对象数据模型，所述网页对象数据模型中包括所述待处理网站数据源中各页面所包含的数据信息；对所述待处理网站数据源中各页面所包含的数据信息进行抽取，根据抽取出的数据信息建立网页数据信息模型；根据所述网页数据信息模型抽取出所述待处理网站数据源中各页面的数据项和描述对象，并根据抽取的各页面的描述对象和数据项对各页面进行分类；根据各页面的数据项计算出每个页面的相似哈希值，判断同一类页面中各页面之间的相似哈希值之间的差值是否满足预设阈值，如果是，则判定为重复数据，对重复数据进行清理。