用于中文文本处理系统的中文分词方法

摘要

一种用于中文文本处理系统的中文分词方法，包括取得输入汉字串的前两个汉字；在词库中检索出与前两个汉字的起始汉字相关的索引节点；取得该索引节点中的指针，该指针指向该词库中相应的词汇集合；在词汇集合中进行近似二分查找，如果找到该两个汉字词汇，则保存该词汇的索引，否则，保存与该两个汉字最接近的词汇的索引；对于输入汉字串，在该词汇集合中执行邻近匹配，以获得具有最大长度的匹配词汇，并把该匹配的词汇作为当前分词的结果。对于上述分词结果，本发明还进行切分歧义消解、识别中文人名、归并数词、量词和叠词、识别翻译人名、归并单字以及归并前后缀和识别地名。本发明在分词准确率和响应时间方面得到了重大改进。

主权项

1.一种用于中文文本处理系统的中文分词方法，该中文文本处理系统包括其数据结构支持哈希运算的词库，其特征在于所述方法包括：取得输入汉字串的前两个汉字；在所述词库中检索出与所述前两个汉字的起始汉字相关的索引节点；取得所述索引节点中的指针，该指针指向所述词库中相应的词汇集合；在所述词汇集合中进行近似二分查找，如果找到所述两个汉字词汇，则保存该词汇的索引，否则，保存与所述两个汉字最接近的词汇的索引；对于所述输入汉字串，在所述词汇集合中执行邻近匹配，以获得具有最大长度的匹配词汇，并把该匹配的词汇作为当前分词的结果。