一种基于概率图模型的中文新闻主题协同分割方法

摘要

本发明公开了一种基于概率图模型的中文新闻主题协同分割方法，该方法包括以下步骤：步骤一，对所输入的非可靠中文新闻文本文档构建图模型和进行前景、背景主题模型的初始化；步骤二，前景和背景主题模型的修正；步骤三，构建能量方程；步骤四，能量方程的优化求解，得到协同分割结果。本发明直接利用数据间的关联性就可以做到语义级的分割效果，对于弥补底层特征和高层语义之间的鸿沟有较大的帮助；同时，有助于提高对海量非可靠文本类中文新闻故事主题提取和分割的可靠性和处理能力。本发明能够提高对海量非可靠文本类中文新闻故事分割的精度和通用性，从而便于对中文新闻故事主题的自动分析和处理。

主权项

1.一种基于概率图模型的中文新闻主题协同分割方法，其特征在于，该方法包括以下步骤：步骤一，构建图模型和进行前景、背景主题模型初始化，构建图模型具体包括步骤：首先，将输入的两个及以上中文新闻故事脚本文档分别按照固定长度分成一系列的伪句子，将这些伪句子映射成为图中的节点；其次，分两部分组成图模型中的边，即一部分边由同一输入文档中相邻节点连接而成，另一部分边则是由不同输入文档的所有节点对连接而成；进行前景、背景主题模型的初始化具体包括步骤：基于构建的所述图模型，将所述输入文档中属于共同主题的句子集合当作前景故事标记为1，而其他的句子集合则将被当作背景故事标记为0；将所述输入文档中的所有节点，以聚类的方式分成K类，通过最小化下面的差异值来选出最可能的类作为前景主题的初始化模型，差异值公式为：$\mathrm{Ds}\left(C_k\right)=\gamma |\frac{\min (C_k^1,C_k^2)}{\max (C_k^1,C_k^2)}-1|+(1-\gamma ){\left|\right|H\left(C_k^1\right)-H\left(C_k^2\right)\left|\right|}_2$其中，表示第k个非空类；（j∈{1,2}）表示在C_k类中属于不同文档的节点子集；H(·)表示词语在字典上的分布；0≤γ≤1是线性调节参数；通过枚举所有类的差异值来选择最可能相似的类作为前景主题的初始化模型F⁽⁰⁾，利用各输入文档中的其它节点构成各自的背景主题初始化模型和步骤二，前景和背景主题模型的修正，即：计算当前标定为前景的句子集合的词频分布，并对其进行归一化操作，归一化的结果即为修正后的前景主题模型；对于背景模型的修正算法与前景模型一致，计算当前标定为背景的句子集合的词频分布，并对其进行归一化操作，归一化的结果即为修正后的背景主题模型；根据当前背景和背景的0-1标记结果，将前景主题初始化模型F^(t)、各自的背景主题初始化模型和分别更新为修正后的前景主题模型H(F^(t))、修正后的背景主题模型和其中t表示当前迭代的次数；步骤三，构建能量方程：$E\left(X\right)=\underset{d=1}{\overset{2}{\Sigma }}{E}_{\mathrm{intra}}\left(X_d\right)+\beta E_{\mathrm{inter}}\left(X\right)$其中X＝{X₁,X₂……，X_n}表示所述输入文档中所有节点的0-1标记变量的集合；E_intra(·)是所述输入文档内能量项，用来衡量同一输入文档中前景和背景标记的好坏程度，所述好程度指的是输入文档中的新闻故事具有较高的类内相似度和空间连续性；所述坏程度则与上述好程度含义相反；$E_{\mathrm{intra}}\left(X_d\right)=\underset{i=1}{\overset{\left|X_d\right|}{\Sigma }}(x_{i,d}{\left|\right|H\left(F^{\left(t\right)}\right)-H\left(s_{i,d}\right)\left|\right|}_2+(1-x_{i,d}){\left|\right|H\left(B_d^{\left(t\right)}\right)-H\left(s_{i,d}\right)\left|\right|}_2+\alpha \underset{i~j}{\Sigma }|x_{i,d}-x_{j,d}\left|\right)$E_intra(·)中的第一部分表示文档d中第i个节点被标定为前景1或背景0的误差，第二部分则反映了相邻句子间的聚合性，0≤α≤1是用来调节这两部分相对影响的参数；E_inter(·)是文档间能量项，用来衡量两个文档中关于共同主题的故事段落间的相似程度：$E_{\mathrm{inter}}\left(X\right)=\underset{k=1}{\overset{K}{\Sigma }}{({\Sigma }_{p\in C_k^1}{x}_p-{\Sigma }_{q\in C_k^2}{x}_q)}^2$总体上，文档间能量项E_inter(·)在直方图分布上保证了所述输入文档中被标定为的共同前景主题的故事段落之间的相似性；步骤四，能量方程的优化求解：首先使用QPBO去最小化原始的能量方程，由于QPBO具有部分最优化解的继承性，保留由QPBO求解出来的所有0-1标记，之后使用BP去近似的最小化简化后的能量方程；由此得到一个所有句子的0-1标记解X；根据当前的X，我们更新下一步迭代中的前景和背景主题模型F^(t+1)、和如此迭代步骤二至步骤四，直到获得满意的分割结果，即误差小于给定阈值或迭代步数达到指定上限，算法终止。