分词方法和分词系统

摘要

本发明公开了一种分词方法和分词系统，所述方法包括：接收输入的待测文本；根据预设划分标识对待测文本进行划分；根据预先建立的字典分别对各个新文本进行正向最大匹配分词和反向最大匹配分词；比较两次匹配后的分词结果是否相同；当比较结果相同时，输出任意一个匹配后的分词结果；当比较结果不同时，根据所述字典分别计算两次匹配后的分词结果中各个词的词频；判断两次匹配后的分词结果中各个词的词频是否符合第一要求；当判定不符合时，根据所述字典分别判断两次匹配后的分词结果的语法是否正确；当判定正向匹配分词结果的语法正确时，输出正向匹配分词结果，否则输出反向匹配分词结果。本发明提高分词速度和准确率，满足实际应用需要。

主权项

一种分词方法，其特征在于，包括以下步骤：接收输入的待测文本；根据预设划分标识对所述待测文本进行划分，得到若干个新文本；根据预先建立的字典分别对各个所述新文本进行正向最大匹配分词和反向最大匹配分词；比较第一新文本两次匹配后的分词结果是否相同，所述第一新文本为各个所述新文本中的任意一个新文本；当比较两次匹配后的分词结果相同时，输出所述第一新文本进行正向最大匹配分词或反向最大匹配分词后的分词结果；当比较两次匹配后的分词结果不同时，根据所述字典分别计算所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频；判断计算得到的所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果中各个词的词频是否符合预设第一要求；当判定所述第一新文本两次匹配后的分词结果中各个词的词频不符合所述预设第一要求时，根据所述字典分别判断所述第一新文本进行正向最大匹配分词和反向最大匹配分词后的分词结果的语法是否正确；当判定所述第一新文本进行正向最大匹配分词后的分词结果的语法正确时，输出所述第一新文本进行正向最大匹配分词后的分词结果，否则输出所述第一新文本进行反向最大匹配分词后的分词结果。