基于领域知识地图社区结构的文档主题划分方法

摘要

本发明公开了一种基于领域知识地图社区结构的文档主题划分方法，主要解决与学科或领域知识相关的文档资源的划分问题，以便于将主题相关的文档存储在相近的逻辑位置，提高学效率。其特征在于：提出了基于Fast Geedy算法和GN算法的层次社区发现算法构建主题结构树；特征提取过程将知识单元直接作为特征向量，由于知识单元具有语义完整性，相对于传统的基于分词的方法更能够体现特征向量的主题特性；计算特征向量值的过程提出度中心度和知识单元文档频相结合的方法，其中度中心度的概念反映了知识单元在知识地图全局中的地位。通过以上方法，有效提高文档主题划分的准确率，适用于通用场景下基于知识地图社区结构的文档主题划分。

主权项

一种基于领域知识地图社区结构的文档主题划分方法，其特征在于，包括下述步骤：一、领域知识地图社区结构树构建：(1)领域知识地图预处理过程，将领域知识地图转换为简单无向图，并将转换后的领域知识地图作为社区结构树的根社区节点，将其加入到待分析节点队列CAQ中；社区节点的形式化表示如下：CNode(V_C,Children,Parent)  (1)其中，V_C表示社区节点包含的知识单元集合，Children表示社区节点的子节点集合，Parent表示社区节点的父节点；(2)领域知识地图层次社区划分过程，从CAQ中取出队首节点CH，分别使用Fast Greedy和GN算法对CH对应的领域知识地图或其子图进行社区划分，并引入模块度阈值；若上述两种算法得到的社区划分结果对应的模块度值均小于，则划分无效，执行步骤(3)；否则，对比上述两种算法划分结果对应模块度值，选取其中较大的模块度值对应的社区划分结果，创建其中每个社区对应的社区节点，作为CH的子社区节点，并将其加入CAQ队列；(3)对CAQ中的所有节点进行步骤(2)，直到CAQ队列为空，从而得到领域知识地图对应的社区结构树C‑Tree，其形式化表示如下：C‑Tree(CNodeSet,croot,n)  (2)其中，CNodeSet表示社区结构树的社区节点集合，croot表示社区结构树的根社区节点，n表示社区节点数，即网络中存在的社区个数；二、通过对步骤一所得的领域知识地图对应的社区结构树进行社区主题辨识，构建领域主题结构树，实现社区结构到主题结构的映射；三、文档特征向量提取：(1)构造特征空间，将领域知识地图中的所有知识单元作为特征项，构成多维度的特征空间；(2)文档的预处理过程，将文档转换为纯文本形式，提取每个文档的文本段，使用基于向量空间模型的TF‑IDF算法将文档的文本段与领域知识地图库的知识单元ku对应的文本段内容进行相似度匹配，若相似度达到阈值μ，则认为文档包含ku，据此提取出文档包含的所有知识单元；(3)利用公式(3)计算特征空间中知识单元在领域知识地图中的度中心度，结合文档中知识单元的出现频次，将文档抽象为如下形式：X_j＝{W₁,W₂,...,W_i,...,W_n}，其中n表示特征向量的维度，W_i表示第i个特征项的权重，其形式化表示如下：W_i＝C_deg(ku_i)^*kuf(ku_i,d)  (7)其中，kuf(ku_i,d)表示知识单元在文档d中出现的频次，C_deg(ku_i)表示知识单元ku_i的度中心度；公式(3)的表达式为：$C_{\mathrm{deg}}\left({\mathrm{ku}}_i\right)=\frac{\mathrm{deg}\left({\mathrm{ku}}_i\right)}{\underset{i=1}{\overset{n}{\Sigma }}\mathrm{deg}\left({\mathrm{ku}}_i\right)},{\mathrm{ku}}_i\in \mathrm{KU}---\left(3\right)$其中，deg(ku_i)表示知识单元ku_i社区内的度，KU表示领域知识地图或其子图包含的知识单元集合；四、文档主题划分模型构建：(1)构造训练数据集，对于给定的训练数据集D中的每一个文档，使用步骤三所述方法提取其特征向量，结合步骤一中的领域知识地图社区结构树C‑Tree和步骤二中领域主题结构树T‑Tree，将训练数据集抽象为如下形式：D＝{(X₁,Y₁),(X₂,Y₂),...,(X_j,Y_j),...,(X_m,Y_m)}  (8)其中，X_j(j＝1,2,...,m)表示第j个文档的特征向量，Y_j(j＝1,2,...,m)表示第j个文档的主题标签集合，其形式化表示如下：Y_j＝{L₁,L₂,...,L_i...,L_k}   (9)其中，m为训练集文档个数，k为社区主题个数；(2)训练过程选择BR‑SVM算法，采用交叉验证方式，基于训练文档集D，训练得到文档主题划分模型M；五、文档主题划分：对待划分的文档，提取文档包含的知识单元，使用步骤三方法得到文档特征向量表示，使用步骤四得到的文档主题划分模型实现文档主题划分；上述步骤中，步骤二所述构建领域主题结构树的具体方法为：(1)社区中心点分析，计算C‑Tree中的每个社区节点所包含知识单元在社区对应的领域知识地图子图中的度中心度，选取中心度较大的节点集作为社区中心节点组CCNS；知识单元在社区对应的领域知识地图子图中的度中心度计算按公式(3)进行；(2)对CCNS中的知识单元，查找领域知识地图库，得到CCNS包含的核心术语集，结合知识单元的度中心度和核心术语在CCNS中知识单元出现的频次，计算核心术语term的中心性权重W_Central，其形式化表示如下：$W_{\mathrm{Central}}^{\mathrm{term}}={\Sigma }_{\mathrm{ku}}^{\mathrm{CCNS}}C\left(\mathrm{ku}\right)*\delta (\mathrm{term},\mathrm{ku})---\left(4\right)$其中，C(ku)表示CCNS中知识单元的中心度，δ(term,ku)表示term在ku中出现的频次，选取中心性权重最大的核心术语作为社区的主题；(3)对于C‑Tree每个社区节点进行步骤(2)，从而构建领域主题结构树T‑Tree，实现社区结构到主题结构的映射，T‑Tree形式化表示如下：T‑Tree(CTopicSet,troot，n)  (5)其中，CTopicSet表示社区主题节点集合，troot表示主题结构树的根节点，n表示主题个数；社区主题节点形式化表示如下：CTopic(Y_C,SubTopics,PTopic)  (6)其中，Y_C表示社区主题标号，SubTopics表示主题节点的子节点集合，PTopic表示主题节点的父节点。