一种基于不平衡数据集的文本特征选择方法

摘要

一种基于不平衡数据集的文本特征选择方法，在计算机上计算不平衡文档的特征集合，选择分类算法模型进行建模，具体包括以下步骤：步骤1将数据集分成多数类和少数类，并规定少数类为正类，用c_i表示；多数类为负类，用表示；步骤2将数据集中的文本进行预处理，分词、去除停用词等操作，形成特征t的集合T；步骤3在不平衡类别文档中分别计算每个特征t对应的以下参数A、B、C、D、N；步骤4在不平衡类别文档中分别计算每个特征t在不同类别下的新的χ²(t,c_i)；步骤5在不平衡类别文档中分别设置筛选特征的阈值，并根据每个特征计算出来的χ²(t,c_i)按照大小顺序排列，按照类别取出指定特征数目的特征集合T'；步骤6根据特征选择后的特征集合T'，选择合适的分类算法模型(决策树、支持向量机、贝叶斯等)进行建模。

主权项

一种基于不平衡数据集的文本特征选择方法，其特征在于：该选择方法在计算机上计算不平衡文档的特征集合，选择分类算法模型进行建模，具体包括以下步骤：步骤1将数据集分成多数类和少数类，并规定少数类为正类，用c_i表示；多数类为负类，用表示；步骤2将数据集中的文本进行预处理，分词、去除停用词等操作，形成特征t的集合T；步骤3在不平衡类别文档中分别计算每个特征t对应的以下参数A、B、C、D、N；步骤4在不平衡类别文档中分别计算每个特征t在不同类别下的新的χ²(t,c_i)；步骤5在不平衡类别文档中分别设置筛选特征的阈值，并根据每个特征计算出来的χ²(t,c_i)按照大小顺序排列，按照类别取出指定特征数目的特征集合T'；步骤6根据特征选择后的特征集合T'，选择合适的分类算法模型(决策树、支持向量机、贝叶斯等)进行建模。