基于扩展查询似然模型的动态后继树索引裁剪方法

摘要

本发明公开了一种基于扩展查询似然模型的动态后继树索引裁剪方法，该方法依次包括以下步骤：（1）针对动态后继树索引结构，首先创建完整的动态后继树索引；（2）然后依次遍历索引中每一篇文档包含的不同二元词项，提取索引的统计信息；（3）计算这些二元词项在其当前出现文档中的相对重要性评分；（4）输入裁剪参数，从完整动态后继树索引中删除掉一定比例的不重要二元词项所对应的索引信息；（5）形成裁剪后的动态后继树索引。本方法通过合理的去掉动态后继树索引中的不重要信息达到降低索引文件大小的目的。

主权项

一种基于扩展查询似然模型的动态后继树索引裁剪方法，其特征在于：该方法依次包括以下步骤：(1)针对动态后继树索引结构，创建完整的动态后继树索引；(2)依次遍历索引中每一篇文档包含的不同二元词项，提取索引统计信息；所述的二元词项由树根词项和与树根词项直接关联的树叶词项组成的整体；所述的索引统计信息包括二元词项在每一篇文档中出现的次数、含有某一个二元词项的文档数目、二元词项在文档集中总的出现次数、每一篇文档的长度和文档集的总长度、与一篇文档关联的所有树叶信息的个数|LIL_d|；(3)利用重要性评分公式：$B(\mathrm{bi},d)=\frac{1}{2}\left(\frac{\left|C\right|·\mathrm{tf}\left(\mathrm{bi}\right)-\left|D\right|·\mathrm{TF}\left(\mathrm{bi}\right)}{\left(\right|D|+\mu )·\left|C\right|}\right)\log \frac{\left|C\right|·\mathrm{tf}\left(\mathrm{bi}\right)+\mu ·\mathrm{TF}\left(\mathrm{bi}\right)}{\left(\right|D|+\mu )·\mathrm{TF}\left(\mathrm{bi}\right)},$其中：tf(bi)是二元词项bi在文档d中的出现次数，TF(bi)是二元词项bi在文档集C中的出现次数，|C|是文档集C的长度，|D|为文档d的长度，μ为平滑因子；计算索引中的二元词项在其当前出现文档中的重要性评分，然后对二元词项进行排序；(4)输入裁剪参数k(1≤k,k∈N^*)、ρ(0≤ρ≤1)，让裁剪参数k、ρ依次分别和索引中与一篇文档关联的所有树叶信息的个数|LIL_d|进行比较、计算，控制动态后继树索引的裁剪规模，删除一篇文档中排序靠后的二元词项所对应的树叶信息；具体步骤为：①输入裁剪参数k、ρ；②若|LIL_d|≤k，转步骤⑤；③若|LIL_d|＞k且|LIL_d|‑ρ|LIL_d|>k,则裁剪掉排序靠后的个树叶信息；④若|LIL_d|＞k且|LIL_d|‑ρ|LIL_d|≤k,则裁剪掉排序靠后的|LIL_d|‑k个树叶信息；⑤结束；(5)形成并输出裁剪后的动态后继树索引。