对网页中高频关键词进行聚类的方法及装置

摘要

本发明提供一种对多个网页中高频关键词进行聚类的方法和装置，涉及互联网领域。该方法包括：抓取多个网页对应的多个网页文档；对抓取到的多个网页文档中的各个网页文档进行分词以获取多个词语；确定各个网页文档对应的关键词组合，其中，关键词组合包括表征对应网页文档内容的关键词；从多个关键词组合中获取高频关键词，其中，高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；以及按相似度对高频关键词进行聚类，以获得同类高频关键词。通过聚类，将具有关联性的网页文档划分在同一类别中，从而使用户更加方便地阅读同一类别的网页文档，简化了用户对信息的搜集，节省了用户的时间。

主权项

一种对多个网页中高频关键词进行聚类的方法，其特征在于，包括：抓取所述多个网页对应的多个网页文档；对抓取到的所述多个网页文档中的各个网页文档进行分词以获取多个词语；确定各个网页文档对应的关键词组合，其中，所述关键词组合包括表征对应网页文档内容的关键词；从多个关键词组合中获取高频关键词，其中，所述高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；以及按相似度对所述高频关键词进行聚类，以获得同类高频关键词；从多个关键词组合中获取高频关键词包括：分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；以及将所述访问数量满足预设数量条件的关键词确定为所述多个网页文档的高频关键词；所述按相似度对所述高频关键词进行聚类包括：分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；获取各关键词的访问数量在所述预设时间周期内随时间的变化趋势；以及将所述变化趋势的相似系数满足预设系数条件的多个关键词作为同类高频关键词。