一种基于重复字串的微博新词非监督自动抽取方法

摘要

本发明公开了一种基于重复字串的微博新词非监督自动抽取方法，先对待处理的微博文档进行文本切分，利用动态规划的分词方法切分文本，切分出待识别的字串，将待识别字串中切词碎片组合，组合成待识别的新词，然后根据统计选词模型从待识别的字串提取出候选新词，紧接着利用规则过滤模型对候选词进行过滤，最后得到最终的新词。本发明的有益效果是有效的保证了较高的准确率，并不过分依赖规则字库，同时保证了新词的抽取速度。

主权项

一种基于重复字串的微博新词非监督自动抽取方法，其特征在于：先对待处理的微博文档进行文本切分，利用动态规划的分词方法切分文本，切分出待识别的字串，将待识别字串中切词碎片组合，组合成待识别的新词，然后根据统计选词模型从待识别的字串提取出候选新词，紧接着利用规则过滤模型对候选词进行过滤，最后得到最终的新词。