一种考虑概念抽象度的浅层分析自动文档综述方法

摘要

本发明涉及一种考虑概念抽象度的浅层分析自动文档综述方法，属于信息检索、情报科学领域。其特征在于：首先对于文档进行预处理并设定抽象度值，然后通过多义词消歧处理把文档中的句子用概念矢量模型表示，再将句子聚类成多个主题相似的簇，接着根据从文集中抽取出的主题词个数确定综述的压缩比，之后确定句子的抽象度，继而依据IMMRA值依次从聚类簇中选取压缩比要求数量个文摘句，最后对抽取的文摘句进行排序并输出综述文档。有益效果：实现了考虑抽象度的自动文档综述，降低自动综述文摘因概念包含关系引起的信息冗余或缺失；方法可以根据主题的数量自适应调整文摘的长度，还可以根据用户的抽象度需求调节综述的归纳度，具有很好的适应性。

主权项

1.一种考虑概念抽象度的浅层分析自动文档综述方法，其特征在于步骤如下：步骤1：获得数据并设定抽象度值：将查询Q提交给搜索引擎，返回查询结果Web文档集D＝{d₁，d₂，…，d_k，…}，对D中的诸文档进行提取文本内容、去除停用词与网页标记、词根还原处理后，以文本文档句子为基本单位，按照文本文档句子出现的次序，顺序存储为集合其中：是序号为l、文本文档d_k包含的一个文本文档句子，集合R包含的文本文档句子个数为N＝|R|；然后设定文档综述的抽象度值θ，0≤θ≤1，θ值随抽象度增加而增大；步骤2：将文本文档句子表示为概念模型矢量：先将R中所有出现的词汇转换为概念，将得到的所有概念无重复地组成概念集合C＝{c₁，c₂，…，c_i，…}，其中c_i为一个概念，共计得到n＝|C|个概念，然后以C为特征，仿照tf·idf加权方案将R表示为N个概念模型矢量组成的集合其中所述转换中，若词汇为多义词，则采用基于本体的多义词消歧处理实现，若词汇为单义词或为未在本体中出现的未登录词，则采用以词汇自身作为其概念的方法实现；所述文本文档句子概念模型矢量的分量为c_i在中的权重，其中n_i为D中有词汇可转换为c_i的文本文档数目，log(|D|/n_i)是c_i在D中的逆频率，tf_i是c_i对应词汇在d_k中的出现频率，freq(c_i)是c_i在中的频率；步骤3：将主题近似的文本文档句子进行聚集：对中所有文本文档句子的概念矢量进行基于文本文档句子语义相似度的合成聚类，每次合成时计算合成前后，类的半偏相关系数HDCC，当HDCC大于阈值μ时聚类停止，0＜μ≤1；聚类完成后得到由主题近似文本文档句子组成的聚类簇集合{LT₁，…，LT_o}；所述文本文档句子语义相似度其中与为任意两不同的文本文档句子概念模型矢量，为权值非0的概念数，为与权值非0且相同的概念数；所述的半偏相关系数分子W_M-W_K-W_L表示聚类过程中待合并的中间类CL_K和CL_L合并为下一层次的类CL_M时引起的类内离差平方和的增量，分母表示类CL_K和类CL_L合并前，同层次所有类的总离差平方和，其中任意类CL的类内离差平方和为步骤4：计算压缩比确定综述长度：对于概念c，当I(c)≤I_临，则认定c为主题概念，记为tc，son(c)_i为概念c在本体中的直接子概念，w(c)为概念c在文本文档句子矢量集合中的权值w的总和I_临为0.3，由此利用子概念频度方法从C中抽出主题概念并构成主题概念集合TC＝{tc₁，…，tc_j，…，tc_m}，根据主题概念的数量|TC|和抽象度设定值θ计算自动综述的压缩比r，得到综述长度为N·r；所述的压缩比其中，λ_β为比例调节系数，取值为1≤λ_β≤N/|TC|；步骤5：确定各文本文档句子抽象度值：将TC作为基准，计算R的各文本文档句子抽象度值所述其中，deg(c₁/c₂)＝|1/log₂[|pcc(c₁，Root)|+1]-1/log₂[|pcc(c₂，Root)|+1]|为概念相对抽象度值，c₁，c₂∈C是任意一对概念，Root是本体的根概念，|pcc(c，Root)|是本体中概念c到Root之间连接边的条数；所述步骤6：抽取文摘句：根据θ值、各文本文档句子抽象度值、查询Q、文摘句集合A，A＝φ，计算R各文本文档句子的I_MMRA值；依次从{LT₁，…，LT_o}各簇中每次抽取一个I_MMRA值最大的文本文档句子作为文摘句，放入A并从所属簇中去除，循环进行直到|A|≥N·r；所述其中，λ为相似度参考权值参数，0≤λ≤1；步骤7：对文摘句进行排序并输出综述文档：在文档集合中找到包含A中文摘句最多的文档d_c作为参考框架，将各文摘句按各自在d_c中最相似文本文档句子的位置进行排序定位，最终生成文摘句排列顺序与d_c一致的综述文档输出。