一种基于hash散列表词典结构的中文分词方法

摘要

本发明公开了一种基于hash散列表词典结构的中文分词方法，包括以下步骤：A、对待处理文档进行预处理；B、对每一个处理块分别进行正向最大匹配扫描切分和逆向最大匹配扫描切分；C、对每一个处理块的两次扫描结果进行比较，如果两次扫描后的分词结果相同，则输出正向分词结果，如果结果不同，则分别计算正向最大扫描和逆向最大扫描结果的分词个数S、单字字典词数D、非词典词数N和最大词长L；D、结合以下方法对C中产生的数据进行比较分析后输出正确结果。本发明的有益效果为：提高了分词过程中的匹配效率提高正反向扫描后的比较速度，从根本上提高了双向最大匹配算法的效率。

主权项

一种基于hash散列表词典结构的中文分词方法，其特征在于：包括以下步骤：A、对待处理文档进行预处理，将文本以每一句话为单位分为多个处理块，去掉文档中的标点、英文字母等非汉字信息，用分隔符“/”将其替代；B、对每一个处理块分别进行正向最大匹配扫描切分和逆向最大匹配扫描切分；C、对每一个处理块的两次扫描结果进行比较，如果两次扫描后的分词结果相同，则输出正向分词结果，如果结果不同，则分别计算正向最大扫描和逆向最大扫描结果的分词个数S、单字字典词数D、非词典词数N和最大词长L；D、结合以下方法对C中产生的数据进行比较分析后输出正确结果，具体分析步骤如下：D1、四组值完全相等时，选择逆向分词结果；D2、S、L相等，其他不等时，选择N小的一方为正确结果；D3、S相等，L不等时，选择D=N=0的一方为正确，如果没有则选择L大的一方；D4、S、L都不等时，选择S小且L大的一方正确。