正反向训练去混淆文本检索方法

摘要

本发明涉及一种基于正反向训练的去混淆文本检索方法，属于计算机科学与信息检索技术领域。本发明首先对符合检索意愿和违背检索意愿的文本进行语言特征提取，训练得到检索模板；进而利用该检索模板，对待检索文本提取的语言特征库进行检索，得到检出文本，并按照与检索模板相似度由高到低对检出文本进行排序；最终在检出文本中，使用符合检索意愿和违背检索意愿的文本，反馈式更新检索模板，重新检索，得到优化检索结果。与现有技术相比，本发明采用的正、反向训练文本检索方法具有检索准确率高、检索速度快、去混淆明显等特点。

主权项

正反向去混淆文本检索方法，其特征在于，所述方法包括以下步骤：步骤1，对文本数据进行正、反向训练，得到检索模板；步骤1.1，对符合检索意愿的文本，通过句子分析及特征提取，得到符合检索意愿文本的词法、语法和句义特征，即正向训练过程，符合检索意愿的每个特征的概率表示为P(t_i|R⁺)，其中t_i表示提取的第i个语言特征，R⁺表示符合检索意愿；对违背检索意愿的文本，通过句子分析及特征提取，得到违背检索意愿文本的词法、语法和句义特征，即反向训练过程，违背检索意愿的每个特征的概率表示为P(t_i|R^‑)，其中t_i表示提取的第i个语言特征，R^‑表示违背检索意愿；P(t_i|R⁺)和P(t_i|R^‑)的计算方法如下：$P\left(t_i\right|R^{+})=(1-\lambda )\frac{F\left(t_i\right|R^{+})}{\underset{t_i\in R^{+}}{\Sigma }F\left(t_i\right|R^{+})}+\lambda P\left(t_i\right|D)$$P\left(t_i\right|R^{-})=(1-\lambda )\frac{F\left(t_i\right|R^{-})}{\underset{t_i\in R^{-}}{\Sigma }F\left(t_i\right|R^{-})}+\lambda P\left(t_i\right|D)$其中，λ是一个与文本无关的平滑参数，且0<λ<1，F(t_i|R^±)表示符合检索意愿R⁺和违背检索意愿R^‑中特征t_i出现的频率，P(t_i|D)表示文本D中特征t_i出现的频率；步骤1.2，在步骤1.1的基础上，将符合检索意愿文本的语言特征与违背检索意愿文本的语言特征归并为检索模板，该检索模板用于在文本检索时提供相似度计算的特征；步骤2，在步骤1得到检索模板的基础上，首先对待检文本集进行与步骤1.1中同样的句子分析及特征提取，获取语言特征信息，得到文本集特征库，其次，在步骤1中检索模板的条件下，对文本集特征库进行检索判别与相似度计算，得到检索结果；步骤2.1，检索判别是通过步骤2中的文本集特征库，判断文本D与检索模板的相似度，将P(R⁺|D)>P(R^‑|D)的文本作为检索结果，其中R⁺表示符合检索意愿，R^—表示违背检索意愿，P(R^±|D)表示文本D符合和违背检索意愿的概率值；关于文本D的正、反向支持概率计算公式为：$P\left(R^{+}\right|D)=\underset{t_i\in D}{\Sigma }P\left(t_i\right|D)P\left(R^{+}\right|t_i)$$P\left(R^{-}\right|D)=\underset{t_i\in D}{\Sigma }P\left(t_i\right|D)P\left(R^{-}\right|t_i)$其中P(t_i|D)为特征t_i在D中的出现概率，P(R⁺|t_i)和P(R^‑|t_i)为在特征t_i出现的条件下事件R⁺或R^‑发生的概率，其中P(R⁺|t_i)和P(R^‑|t_i)由步骤1.2中检索模板计算得出。步骤2.2，对步骤1.1中得到的词法、语法和句义特征，给每类特征项分别赋予权重α、β、λ；步骤3，步骤2.1中检出的文本，按照与步骤1中检索模板的相似度，由高到低进行排序，得到检索结果。