基于云平台的消除近似重复网页方法

摘要

本发明公开一种基于云平台的消除近似重复网页的实现方法，该方法包括以下步骤：网页预处理，提取网页正文；在正文中提取特征项用于表征正文内容；计算特征项的指纹，对特征项进行压缩或降维处理以方便存储和检索；基于特征指纹计算相似度，判定原始网页是否近似。本发明具有能够极大程度地减少遗漏近似重复网页重复，能较好地支持多种网页结构下的相似度计算等优点。

主权项

一种基于云平台的消除近似重复网页方法，其特征在于：该方法包括以下步骤：⑴网页预处理，提取网页正文；⑵在正文中提取特征项用于表征正文内容；⑶计算特征项的指纹，对特征项进行压缩或降维处理以方便存储和检索；⑷基于特征指纹计算相似度，判定原始网页是否近似。