一种基于SVM-RFE和重叠度的特征选择方法

摘要

本发明属于数据挖掘、生物信息学技术的交叉领域，涉及一种基于SVM-RFE和重叠度的特征选择方法。首先基于训练样本X和当前特征集合F，屏蔽那些Nr(xi)>0的样本，并且最多屏蔽每类样本数的1/3，则剩余样本为Xt。然后基于当前特征集合F和训练集合Xt，构建SVM分类模型，得出d折交叉验证的分类准确率,然后计算出在当前特征集合F上训练样本X_t中的每个样本x_i的重叠度Nr(x_i),再求训练样本集合X_t的平均重叠度，选取对应分类准确率和平均准确率差最大的特征集FS作为最优特征集。本发明的方法用于特征选择，并且通过屏蔽高重叠度的样本来降低模型的过拟合问题，以帮助发现具有区分能力的生物标志信息。

主权项

一种基于SVM‑RFE和重叠度的特征选择方法，其特征在于以下步骤：(1)当前训练样本集合X，迭代删除特征比为t，当前特征集合为F；初始时，F包含所有特征，FS为空，交叉验证倍数为d,初始准确率c_acc＝0.0，初始重叠度c_oa＝0.0；(2)如果当前特征集合F不为空，对于每一类样本集X_j＝{x|x∈X,Label(x)＝j}统计该类样本的个数θ_j，对每个于xi∈X_j,计算Nr(x_i)，Nr(xi)的计算方式按公式(2)：所述的每个样本的重叠度Nr(x_i)，其计算方式如下：a.在当前特征空间F上，对当前训练样本中的每个样本x_i，OR(x_i)＝{x|x∈X,Label(x)≠Label(x_i)}/{x|x∈X,Label(x)＝Label(x_i)}；Label(x_i)为样本x_i所属的类标；b.在当前特征空间F上，计算r(x_i):$r\left(x_i\right)=\frac{|Difflabel\left(x_i\right)}{|Samelabel\left(x_i\right)}-OR\left(x_i\right)---\left(1\right)$Difflabel(x_i)＝{x|x∈KNN(x_i)and Label(x)≠Label(x_i)}Samelabel(x_i)＝{x|x∈KNN(x_i)and Label(x)＝Label(x_i)}；在训练样本集中，每个样本x_i采用欧几里得距离，求其最近的K个样本，Difflabel(x_i)代表样本x_i的K近邻中与x_i不同类标的样本数目，Samelabel(x_i)代表样本x_i的K近邻中与x_i同类标的样本数目；c.再对r(x_i)标准化得出Nr(x_i)：$Nr\left(x_i\right)=\frac{r\left(x_i\right)}{OR\left(x_i\right)}---\left(2\right)$将Nr(x_i)按降序排列，对每类样本，暂时屏蔽Nr(xi)>0的样本，并且最多屏蔽每类样本数目1/3的样本；对每一类样本做上述处理后，剩余样本集为X_t；(3)基于当前特征集合F和训练集合X_t，构建SVM分类模型，得出d折交叉验证的分类准确率T_c_acc；(4)计算出在当前特征集合F上训练样本X_t中的每个样本x_i的重叠度Nr(x_i)，按公式(2)计算,再求训练样本集合X_t的平均重叠度T_c_oa；(5)如果T_c_acc–T_c_oa>＝c_acc–c_oa,则c_acc＝T_c_acc,c_oa＝T_c_oa,FS＝F；(6)根据F构建的SVM分类模型，计算每个特征f_i∈F的权重|W_i|，对特征集合F中的每个特征根据权重|W|值降序排序；(7)删除当前特征集合F中权重最低的t％特征；(8)重复步骤(2)‑(7)直到F为空，返回最优特征子集FS。