一种基于观点的文本分类方法

摘要

本发明公开了一种基于观点的文本分类方法，具体步骤包括：（100）主题段的划分；（200）语句主观性的判别；（300）观点句识别；（400）观点句相似度计算；（500）观点句聚类。通过上述方式，本发明一种基于观点的文本分类方法，该方法可以实现动态的、语义的、低维高效的文本分类，使网络文本信息处理更符合人的认知过程，更能满足实际应用的需求。

主权项

一种基于观点的文本分类方法，其特征在于，具体步骤包括：（100）主题段的划分：首先输入文本，通过(1£i,j£n)计算文本中每两个段落之间的语义相似度，然后逐个找出主题发生转换的段落候选点 P_k1,P_k2,……,P_kr, 若P_kr满足，，，则确定为主题段落的划分候选点，继续处理下一个候选点，如果全部主题段落划分候选点都处理完毕则结束，若不满足，判断是否满足，若满足，则认为为主题段落划分候选点，并继续处理下一个主题段落划分候选点，若不满足，则判断主题段落划分候选点的下一个段落是否满足，认为不是划分段，直至全部主题段落划分候选点处理完毕则结束，确定文本中的主题段落划分点，将文本中的所有自然段落合并为若干个主题段，即文本可以表示为D=S₁ÈS₂È……ÈS_n，S_n表示主题段；其中，（，），F(P_i)= (W_i1,W_i2,……,W_ij,……,W_ik) 为段落特征向量，W_ij表示文本特征词列表中第j个元素在段落i中的权值，权值根据词语在该段出现的频率计算，k为特征向量元素的个数，文本特征向量 F(D)=(W₁,W₂,……,W_l) ，W_l表示文本特征词列表中第l个元素在全文中的权值，权值根据词语在文本中出现的频率计算，是第r个主题段落划分候选点的段落的下标；（200）语句主观性的判别：采用CHI统计方法分别对主观文本和客观文本进行2‑POS主观模式提取，首先对训练语料库中的句子进行分词和词性标注，然后构造2‑POS 统计语言模型，最后根据公式（1）分别为主、客观模式集合中的每个2‑POS类型计算CHI统计量，并依据CHI值排序，（1）其中表示属于类c_i的句子中包含第k个2‑POS模式句子数，表示不属于类c_i的句子中包含第k个2‑POS模式句子数，表示属于类c_i的句子中不包含第k个2‑POS模式句子数，表示既不属于类c_i也不包含第k个2‑POS模式句子数，N表示语料中的句子总数；利用统计方法在康奈尔大学提供的影评数据集上获得主观规则；所述主观模式和所述主观规则统称为主观线索，首先根据公式（2）计算主观线索Clue权重，Wight(Clue)=Max(CHI值/最大CHI值，置信度*falg)             （2）其中flag=1，则主观线索为主观句置信度，否则flag=0；然后跟据主观线索密度定义公式（3）计算主观线索密度：（3）其中，句子包含的主观线索词总数为N，相邻的两个主观线索词w_i和w_i+1之间的非主观线索词数量表示为Distance(w_i,w_i+1)，关键词w_i+1在句子中的权重表示为Score(w_i+1);根据公式（4）采用tf‑idf方法计算主观线索词的权重:（4）其中，df(wi)表示包含词wi的句子数，|S|是总句子数，wi在句子Sj中出现的次数表示为tf(wi,Sj)；句子是主观性句子的可能性大小与SD(S)值的大小成正比关系；（300）观点句识别：观点句不同于主观句，是主观句子集，观点句识别首先要构造观点词语字典，然后利用观点词语字典对句子出现的观点词语进行统计，将统计的结果，利用ID3算法生成决策树，从而用于观点句的识别；（400）观点句相似度计算：首先进行观点抽取，根据步骤（100）对主题聚类，然后对同一主题，抽取描述主题的属性，对同一属性评价的褒贬词类别即为观点词，最后根据公式（5）计算词语的权重，（5）其中，k 表示句子中出现的词类数，n_i表示句中 i 类词的个数，g_i表示第i 个观点的权重。