一种词汇分类的方法、系统和实现方法

摘要

本发明公开了一种词汇分类的方法、系统和实现方法，首先获取文档分类训练集，包括文档及其所属的文档类别信息，对所有文档进行预处理，形成待分类词汇，获取每个待分类词汇在一个文档类别中的TF值和IDF值，并对两者求和得到TF-IDF，除以每个待分类词汇在其文档所属的所有文档类别中的TF-IDF之和，获得的商值作为待分类词汇属于文档类别的概率，生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。采用了本发明的技术方案，能够自动完成词汇分类，而且投入很少，效果更加准确。

主权项

一种词汇分类的方法，其特征在于，包括以下步骤：获取文档分类训练集，所述文档分类训练集包括文档和所述文档所属的文档类别信息；对所有文档进行预处理，形成待分类词汇；获取每个待分类词汇在一个文档类别中的词汇频率值TF；获取每个待分类词汇在一个文档类别中的逆文档频率值IDF；采用每个待分类词汇在一个文档类别中的词汇频率值TF和逆文档频率值IDF获得每个待分类词汇在一个文档类别中的词汇频率‑逆文档频率值TF‑IDF；获取每个待分类词汇在其文档所属的所有文档类别中的词汇频率‑逆文档频率值TF‑IDF之和；每个待分类词汇在一个文档类别中的词汇频率‑逆文档频率值TF‑IDF除以所述待分类词汇在其文档所属的所有文档类别中的词汇频率‑逆文档频率值TF‑IDF之和获得的商值作为所述待分类词汇属于所述文档类别的概率；所述待分类词汇所在文档属于的文档类别作为所述待分类词汇的类别，生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。