一种分词系统

摘要

本发明涉及自然语言处理领域，特别涉及一种分词系统，包含双向递归神经网络模块、解码模块、分词模块，其中所述双向递归神经网络模块预测出待分词文本中各个字分类概率，所述解码模块根据各个字的分类概率，通过解码算法找出最优化的分类概率序列，所述分词模块根据分类序列将待分词文本中的相邻的属于词语开始、中间和结束部分作为一个词切分出来；本发明系统克服了传统方式中新词识别切分效果差的缺陷；且使用了双向传播的RNN，克服了单向预测中信息不对称的问题，使得待识别的自然语言序列的分类判断结果既依赖了前文信息又依赖了后文信息；分词判断的准确率更高，对新词的识别效果显著，为信息分析提供一种有效的分词工具。

主权项

一种分词系统，其特征在于，包含双向递归神经网络模块、解码模块、分词模块，其中所述双向递归神经网络模块预测出待分词文本中各个字分类概率；所述解码模块根据各个字的分类概率，通过解码算法找出最优化的分类序列；所述分词模块将分类序列中相邻的属于词的开始部分、K个中间部分和结束部分对应的字作为一个词切分出来，其中K为≥0的正整数。