一种基于内容相似度计算的自动搜索引擎构建方法

摘要

本发明公开了一种基于内容相似度计算的自动搜索引擎构建方法，本发明在现有技术搜索引擎基础上，采用“最大熵和”、“最小熵差”来计算网页内容差异度，为每个网页建立相似内容索引，搜索引擎可自动搜索相似内容网页。当用户输入关键词后，不仅搜索出包含关键词的网页，同时还为每个搜索出的网页，再自动搜索相似内容网页并进行聚类显示；当用户在搜索结果中点击链接浏览时，自动搜索相似内容网页并进行信息推送；自动跟踪用户浏览网页、搜索相似内容网页进行信息推送。用本发明构建的搜索引擎，实现了智能化主动搜索，使用户更容易找到相关内容网页，提高了搜索引擎的自动化、智能化水平。

主权项

一种网页内容相似度计算方法，利用蜘蛛程序爬取网页、分词，其特征在于：(1)用词频数TF除以所有爬取网页中包含该词的网页数D_t为词权重W^j，W^j＝TF/D_t；(2)从每个网页P_i的标题和正文中，选出前m个词权重W^j最大的词，作为每个网页P_i的代表词组PW_i，其中1≤i≤n，n为所爬取的网页数，m≥2，1≤j≤m；(3)计算每个网页P_i的代表词组PW_i与其它网页P_k代表词组PW_k之间的差异度Dif(k,i)为网页内容差异度，其中k≠i，1≤k≤n；(4)在计算两个网页P_i与P_k内容差异度Dif(k,i)之前，先求两个网页代表词组PW_i与PW_k的交集PW_k∩i＝PW_k∩PW_i，当交集为空时，直接判定两网页内容不相似，结束计算；(5)如果两个网页代表词组PW_i与PW_k的交集PW_k∩i＝PW_k∩PW_i不为空计算交集PW_k∩i中的词在两个网页代表词组PW_k与PW_i中的词权重W^j之差的绝对值的和为内容差异度其中W_i^j为交集PW_k∩i中的第j个词在PW_i中的词权重W^j，为交集PW_k∩i中的第j个词在PW_k中的词权重W^j，f为交集PW_k∩i中的元素数量；(6)当Dif(k,i)＝0且f＝m时，直接判定两网页P_i与P_k的内容没有差异，结束计算；(7)当Dif(k,i)≠0、f≠m时，其中PW_i‑k为网页P_k的代表词组PW_k在网页P_i的代表词组PW_i中的相对补集为相对补集PW_i‑k中的词在网页P_i代表词组PW_i中的词权重W^j之和，t为相对补集PW_i‑k中的元素数量。