一种基于词出现间距的内在与外在模式熵差的关键词排序方法

摘要

本发明提出一种基于通过词出现间距的内在与外在模式的信息熵差进行关键词排序的方法，属于文字信息处理领域。本方法认为关键词的出现受到两个模式的影响：（1）内在模式，描述在一个话题中的关键词位置的统计特性；（2）外在模式，描述文本中话题簇出现的统计属性。真实文本上实验结果发现，一个词出现间距的内外模式和外在模式信息熵差越大，那么他是关键词的可能性也就越大。

主权项

1.一种基于词出现间距的内在与外在模式熵差的关键词排序方法，其特征在于步骤如下：步骤（1）获取文本获取文本，文本由若干数目的句子组成；步骤（2）文本预处理步骤（2.1）去除所有的标点符号，将所有的字母转换为小写；文中的目录，词汇表，以及索引均从文本中移除；步骤（2.2）对于英文文本，基于简单空格进行分词；先去除停用词，英文的不同词形当成不同的词；统计出每一个词的词频m，以及全文总的词数量N；计算出每一个词的出现的概率p=m/N；步骤（2.3）对于中文文本，使用常用分词软件进行分词；使用通用分词算法对中文文本进行分词；统计出每一个词的词频m，以及全文总的词数量N；计算出每一个词的出现的概率p=m/N；步骤（3）词出现间距的内在与外在外模式发现步骤（3.1）标注词出现位置；假设文本长度为N，即步骤（2）中的全文总的词数量，一个词A在文本中共出现m次，即步骤（2）中的词频，其出现的位置表示为t₁，t₂，t₃，…..t_m，分别代表词A在文本的t₁，t₂，t₃，…..t_m位置出现；步骤（3.2）计算词出现位置间距文本中词A 的m次出现的位置表示成：t₁，t₂，t₃，…..t_m；其中d₁,……d_m-1，意义如同上文表示间距，t_m依然是词第m次出现的位置；词出现在相邻的的位置上的位置差以写成这样d_i=t_i+1-t_i，词间距集合为d₁,d₂,……d_m-1；对于C_-1边界条件，假设文本边界在-1和N这两个位置，那么距离集合修正为d₀^-1,d₁……d_m-1,d_m^-1，对于C₀边界条件，假设文本边界在0和N+1这两个位置，那么文本距离集合修正为d₀⁰,d₁,……d_m-1,d_m⁰，其中对于C_c边界条件，假设文本的首尾相连，距离集合修正为d₁,d₂……d_m-1,d_m^c，是文本连成环状的状态下，词的最后一次出现与第一次出现的距离；并且步骤（3.3）划分词出现间距的内在与外在模式的根据前面的每一个词的位置间距集合，算出词的间距的平均值μ，用此平均值作为划分内外模式的依据；如果d_i≤μ那么把d_i归为内模式，d_i>μ那么把d_i归为外模式；依此依据，这样就把词的间距划分成内外两个模式的集合；内模式的集合记为d^A，外模式的集合记为d^B；步骤（3.4）计算词出现间距的内在与外在模式的熵内在模式的集合d^A ={d_i |d_i≤μ } 表示所有d_i≤μ的集合；那么一个词出现间距的内在模式的熵定义为：$H\left(d^A\right)=-\underset{d\in d^A}{\Sigma }{P}_d{\log }_2{P}_d---\left(6\right)$在这里d也是间距， d属于{1，2，3，......N}，并且P_d表示的是在d^A中d出现的概率；在d^A中d出现的词数为n_d ，d^A中数据个数为S_A，P_d=n_d/S_A；依据公式（6）计算出内模式的熵；外模式的集合d^B= {d_i |d_i>μ} 表示所有d_i>μ的集合；那么一个词出现间距的外在模式的熵定义为：$H\left(d^B\right)=-\underset{d\in d^B}{\Sigma }{P}_d{\log }_2{P}_d---\left(7\right)$在这里d也是间距， d属于{1，2，3，......N}，并且P_d表示的是在d^B中d出现的概率；在d^B中d出现的词数为n_d ，d^B中数据个数为S_B，P_d=n_d/S_B；依据公式（7）就算出外模式的熵；步骤（3.5）计算词出现间距的内在与外在模式熵差（ED²(d)=(H(d^A))²-(H(d^B))²     (8)步骤（3.6）计算熵差归一化归一化的熵差ED_nor定义如下：${\mathrm{ED}}_{\mathrm{nor}}^q\left(d\right)=\frac{{\mathrm{ED}}^q\left(d\right)}{\left|{\mathrm{ED}}_{\mathrm{geo}}^q\left(d\right)\right|}---\left(9\right)$其中，${\mathrm{ED}}_{\mathrm{geo}}^q\left(d\right)={(-\underset{d\le N/m}{\Sigma }\frac{{p(1-p)}^{d-1}}{p^A}\log \frac{{p(1-p)}^{d-1}}{p^A})}^q-{(-\underset{d\ge N/m}{\Sigma }\frac{p{(1-p)}^{d-1}}{p^B}\log \frac{p{(1-p)}^{d-1}}{p^B})}^q---\left(10\right)$其中$p^A=\underset{d\le N/m}{\Sigma }p{(1-p)}^{d-1},p^B=\underset{d>N/m}{\Sigma }p{(1-p)}^{d-1};$公式（10）中q=2，d是词间距，表示d^A或者d^B 中的一个元素；N/m表示的是间距的期望，也就是上文中平均间距值μ；p=m/N表示的是词在文本中的概率，m为相应词的词频，N代表是全文总的词数量；p(1-p)^d-1相当于d重伯努利试验；步骤（4）根据熵差对词汇进行排序根据步骤（2）中分好的词，根据上边的公式（6）到（10）依次计算每一个词的熵差，计算完成后，对所有词依据熵差由大到小来进行排序。