使用数据结构从输入文本识别出词的方法

摘要

本发明一个处理过程，该过程用于机器分析连续的中文文本并分离出组成文本的词。该处理过程使用一个词典、一些处理标点符号的直接规则、识别一串中文文本中全部词和通过依次更严格的过滤机制消除不合逻辑段从而将输入文本中的重叠词分解成一组相邻词的方法，以及解除多义性的方法。

主权项

1.在一个带有输入和输出的计算机系统中使用数据结构来从输入文本中识别出词的方法，其特征在于包括以下步骤：将存储的输入文本中的所有子字符串与参考词典中的词进行匹配；将未被词典中的词所包含的任何字符标记为单字符词；通过扫描数据结构中的每个条目，识别出重叠词并且删除不与相邻词连接的词；以及如果一个条目不代表处于输入文本开头的词，不代表位于输入文本末尾且有另一个词处于它前面的词，或者不代表一个后接着另一个词的词，则将该条目标记为删除。