一种基于Laplacian算子的特征选择方法

摘要

本发明公开了一种基于Laplacian算子的特征选择方法，所述方法既考虑到了样本和类标签之间的关联又保留了样本和样本之间的相互依赖关系。具体来说，提出的Lap-Lasso方法包含了两个正则化项，第一项是稀疏化正则化项，保证只有少数量的特征能被选择。另外，引入了一个新的基于Laplacian的正则化项，用于保留同类样本之间的局部相邻结构信息。进一步，使用APG即AcceleratedProximalGradient算法来优化所提出的模型。在UCI数据集的实验结果验证了Lap-lasso方法的有效性。

主权项

一种基于Laplacian算子的特征选择方法，其特征在于，具体步骤如下：步骤一、建立Lasso特征选择方法优化的目标函数：${\min }_W\frac{1}{2}{\left|\right|Y-X^{T}w\left|\right|}_2^2+\lambda {\left|\right|w\left|\right|}_1;$其中，X表示给定训练样本集：X＝[x₁,x₂,…,x_N]^T∈R^N×d，x_i表示第i个样本的特征向量，N表示训练样本个数，d表示特征维数；Y表示样本所对应的相应向量：Y＝[y₁,y₂,…,y_N]∈R^N，y_i表示样本的类标签，且y_i∈{+1,‑1}；w表示特征向量的回归系数；λ>0表示一个正则化参数，用于平衡模型复杂度和数据拟合程度；步骤二、在步骤一的Lasso目标函数中引入一个正则化项：$\underset{w}{\min }\underset{i,j}{\overset{N}{\Sigma }}{\left|\right|f\left(x_i\right)-f\left(x_j\right)\left|\right|}^2{S}_{\mathrm{ij}}={2w}^T{X}^T\mathrm{LXw};$其中，S＝[S_ij]表示一个相似矩阵，定义了两个样本之间相似性；xi和x_j分别表示两个样本；L＝D‑S表示Laplacian矩阵，D表示对角矩阵，且$D_{\mathrm{ii}}={\Sigma }_{j=1}^N{S}_{\mathrm{ij}},$根据所引入的正则化项，采用基于Laplacian算子的特征选择方法，构建Lap‑Lasso目标函数模型，其表达如下：$\underset{w}{\min }\frac{1}{2}{\left|\right|Y-X^{T}w\left|\right|}_2^2+\lambda {\left|\right|w\left|\right|}_1+{\mathrm{\beta w}}^T{X}^T\mathrm{LXw};$其中，λ和β是两个大于0的常数；步骤三、求解上述Lap‑Lasso目标函数模型，其中，Lasso稀疏化项使得少量的特征能被选择，而Laplacian正则化项保留同类标签样本的局部相邻结构信息，实现帮助诱导出更有判别力的特征。