一种基于大数据的话题检测方法及装置

摘要

本发明提供了一种基于大数据的话题检测方法及装置，能够在互联网环境中大量网页文本快速更新的情况下，同时保证检测效果的准确性和时效性。所述的方法包括：依据用户网络行为数据抽取热点网页；采集所述热点网页的内容；依据所述热点网页的内容，提取得到所述热点网页的网页特征向量；依据所述热点网页的网页特征向量对所述热点网页进行聚类，得到相应的潜在热点话题类；以所述潜在热点话题类作为种子类，对新增网页进行增量聚类；所述新增网页包括在线网页；针对增量聚类后的潜在热点话题类，通过分析其对应的用户关注度参数，判定其是否为热点话题类。

主权项

一种基于大数据的话题检测方法，其特征在于，包括：依据用户网络行为数据抽取热点网页；采集所述热点网页的内容；依据所述热点网页的内容，提取得到所述热点网页的网页特征向量；所述依据所述热点网页的内容，提取得到所述热点网页的网页特征向量的步骤包括：依据采集到网页的内容，提取所述热点网页的网页内容特征；依据所述网页内容特征构建所述热点网页的网页特征向量；依据所述热点网页的网页特征向量对所述热点网页进行聚类，得到相应的潜在热点话题类；以所述潜在热点话题类作为种子类，对新增网页进行增量聚类；所述新增网页包括在线网页；针对增量聚类后的潜在热点话题类，通过分析其对应的用户关注度参数，判定其是否为热点话题类；所述针对增量聚类后的潜在热点话题类，通过分析其对应的用户关注度参数，判定其是否为热点话题类的步骤，包括：当增量聚类后的某潜在热点话题类对应的用户关注度参数的加权处理结果与增量聚类后的所有潜在热点话题类对应的用户关注度参数的加权处理结果的比值大于第一阈值时，判定该潜在热点话题类为热点话题类；所述用户网络行为数据包括用户访问行为数据和用户搜索行为数据中的一项或多项；则所述依据用户网络行为数据抽取热点网页的步骤，包括：依据所述用户访问行为数据，获取用户访问量或用户访问频率符合第一预置条件的网页，作为热点网页；和/或依据所述用户搜索行为数据，获取用户搜索量或用户搜索频率符合第二预置条件的关键词所关联的网页，作为热点网页。