短文本的垃圾识别方法及系统

摘要

本发明公开了一种短文本的垃圾识别方法及系统，所述方法包括：对网站平台上设定时间段内出现的短文本，分别计算各短文本的词语特征向量；根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分；其中，被划分到同一集合中的短文本被判定为内容相似；统计每个集合中的短文本的数量，将短文本的数量超过设定阈值的集合进行垃圾标识。由于对于内容相似的短文本统计数量后，若数量超过设定阈值，则进行垃圾标识；这种处理方式不用依赖通过训练、学后得到的垃圾文本集和非垃圾文本集，可以实时地对短文本进行垃圾识别，提高了短文本的内容的垃圾识别及时性。

主权项

一种短文本的垃圾识别方法，其特征在于，包括：对网站平台上设定时间段内出现的短文本，分别提取各短文本的特征词，并计算出各短文本的词语特征向量；根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分；其中，被划分到同一集合中的短文本被判定为内容相似；统计每个集合中的短文本的数量，将短文本的数量超过设定阈值的集合进行垃圾标识。