一种时间敏感和自适应的子话题在线检测方法及系统

摘要

本发明涉及一种时间敏感和自适应的子话题在线检测方法及系统。该方法包括：1)对文档流中的每篇文档进行向量化表示；2)对文档进行增量式聚类，并根据随时间衰减的文档权重调整子话题的中心权重；3)当聚类产生的子话题数量或者某个子话题权重占比满足阈值条件，或者子话题满足长尾检测条件时，进行子话题间的合并或者删除无意义的子话题；4)根据每个新子话题的权重已及其内在的文档分布，对新子话题生成摘要并输出展示。该系统包括文档表示模块、增量式聚类模块、新子话题发现模块、摘要生成模块。本发明中历史文档权重随时间衰减，并且基于阈值判断和长尾检测进行子话题数量和内容的动态更新，能够有效提高子话题检测的效率。

主权项

一种时间敏感和自适应的子话题在线检测方法，其特征在于，包括如下步骤：1)对文档流中的每篇文档进行向量化表示；2)对向量化表示后的文档进行增量式聚类，若文档属于某个子话题，则将该文档加入到该子话题中，并根据随时间衰减的文档权重调整该子话题的中心权重；若文档不属于任何一个子话题，则建立一个新子话题，并同样根据随时间衰减的文档权重调整该新子话题的中心权重；3)当增量式聚类产生的子话题数量或者某个子话题权重占比满足阈值条件，或者子话题满足长尾检测条件时，进行子话题间的合并或者删除无意义的子话题；4)根据每个新子话题的权重已及其内在的文档分布，对新子话题生成摘要，并输出展示。