一种用于模式分类的特征选择方法

摘要

本发明公开了一种用于模式分类的特征选择方法，通过采用模糊Fisher准则为目标函数求得无监督最佳鉴别矢量的基础上，根据该矢量中每一维的值求得每个特征重要性权值，按照该权值大小进行特征排序，通过给定阈值，选取特征子集，进而实现了特征降维。本发明的方法的实施不仅无需事先提供样本类别信息，而且有效解决了无监督模式下特征选择缺乏分离性度量的问题，在UCI数据集及故障诊断实验中体现了良好的降维性能，具有很高的实用价值。

主权项

1.一种用于模式分类的特征选择方法，其特征在于：通过采用模糊Fisher准则为目标函数求得无监督最佳鉴别矢量的基础上，根据该矢量中每一维的值求得每个特征重要性权值，按照该权值大小进行特征排序，通过给定阈值，选取特征子集，进而实现数据降维；具体包括以下各步骤：A、将原始数据转换为N×d矩阵，其中N为样本个数，d为特征维数；B、给定阈值ε或迭代次数α，给定特征重要性阈值θ；C、使用k-means算法初始化隶属矩阵U=[μ_ij]_c×N以及聚类中心m=(m₁,m₂,...,m_c)，其中u_ij表示第j个样本属于第i类的程度，c为分割聚类数目，此处i、j为变量且取值区间分别为:[1，c]、[1，N]，设m为模糊指数且m>1；D、使用以下公式分别计算模糊类内散布矩阵S_fw、模糊类间散布矩阵S_fb：$S_{\mathrm{fw}}=\underset{i=1}{\overset{c}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m(x_j-m_i){(x_j-m_i)}^T$$S_{\mathrm{fb}}=\underset{i=1}{\overset{c}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m(m_i-\bar{x}){(m_i-\bar{x})}^T$其中隶属度函数u_ij∈[0,1]且x_j为N维列向量，在样本空间定义各类样本均值向量记为m_i，为所有样本均值，T表示矩阵转置；E、使用以下公式求得矩阵最大特征值λ对应的模为1的特征向量ω：$S_{\mathrm{fw}}^{-1}{S}_{\mathrm{fb}}\omega =\mathrm{\lambda \omega }$该公式为求一般矩阵的特征值问题，其中λ取该矩阵的最大特征值，而ω为λ对应的特征向量；F、使用以下公式分别计算新的m_i和μ_ij：$m_i=\frac{\underset{j=1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m(x_j-\frac{1}{\lambda }\bar{x})}{\underset{j=1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m(1-\frac{1}{\lambda })}$其中m_i是局部解，$u_{\mathrm{ij}}=\frac{{({\omega }^T(x_j-m_i){(x_j-m_i)}^T\omega -\frac{1}{\lambda }{\omega }^T(m_i-\bar{x}){(m_i-\bar{x})}^T\omega )}^{-\frac{1}{m-1}}}{\underset{k=1}{\overset{c}{\Sigma }}{({\omega }^T(x_j-m_k){(x_j-m_k)}^T\omega -\frac{1}{\lambda }{\omega }^T(m_k-\bar{x}){(m_k-\bar{x})}^T\omega )}^{-\frac{1}{m-1}}}$其中k为变量且取值区间分别为：[1，c]，在模糊聚类中，通常限定u_ij∈[0,1]，因此对上式给出如下限定条件，若：${\omega }^T(x_j-m_i){(x_j-m_i)}^T\omega \le \frac{1}{\lambda }{\omega }^T(m_i-\bar{x}){(m_i-\bar{x})}^T\omega$则：u_ij=1且对所有i′≠i，有u_i′j=0；G、使用以下公式计算J_FFC并将迭代次数自增1：$J_{\mathrm{FFC}}=\frac{{\omega }^T{S}_{\mathrm{fb}}\omega }{{\omega }^T{S}_{\mathrm{fw}}\omega }$其中J_FFC为模糊Fisher准则(Fuzzy Fisher Criterion)函数；H、按照预先设定的条件进行判断，如预先设定的条件得到满足，则转到步骤I，否则返回步骤D；I、使用以下公式计算各特征的重要性度量f_k，并将特征按照f_k降序排列：$f_k=\frac{\left|{\omega }_k\right|}{\underset{k=1}{\overset{d}{\Sigma }}\left|{\omega }_k\right|}$其中定义f_k为第k个特征重要性度量，设ω=(ω₁,ω₂,…ω_d)′；J、在降序排列的特征中寻找前d_θ个特征作为降维后特征，使得且d_θ最小，从而实现降维，算法结束。