一种火星文识别方法和系统

摘要

本发明提出一种火星文识别方法和系统，其中方法包括：采用已知的火星文文本在原始语料中进行搜索，得到火星文训练文本集合；采用所述火星文训练文本集合建立火星文语言模型；利用所述火星文语言模型计算语句S是火星文的概率，当所述概率大于预先设定的阈值时，识别出该语句S是火星文。本发明能够将网络原始文本中的火星文识别出来。

主权项

一种火星文识别方法，其特征在于，所述方法包括：采用火星文文本在原始语料中进行搜索，得到火星文训练文本集合；采用所述火星文训练文本集合建立火星文语言模型，所述火星文语言模型的内容如下：Pmars(Wi|Wi‑n+1...Wi‑1)等于词语序列Wi‑n+1...Wi‑1Wi在火星文训练文本集合中出现的次数与词语序列Wi‑n+1...Wi‑1在火星文训练文本集合中出现的次数的商；其中，n为预先设定的整数，Pmars(Wi|Wi‑n+1...Wi‑1)表示在词语序列Wi‑n+1...Wi‑1出现的条件下出现词语Wi的条件概率；利用所述火星文语言模型计算语句S是火星文的概率，当所述概率大于预先设定的阈值时，识别出该语句S是火星文。