基于多标签柔性支持向量机的分类方法

摘要

本发明实施例公开了一种基于多标签柔性支持向量机的分类方法，包括以下步骤：首先，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离；然后，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点；最后，结合每个样本点在多标签空间中的邻域信息，利用提出的一种新的多标签柔性支持向量机分类器进行多标签分类训练。本发明用于利用多标签空间中包含的信息来提高鉴别型分类器在多标签分类中的分类精度，降低噪声标签对分类的影响。

主权项

一种基于多标签柔性支持向量机的分类方法，其特征在于，包括以下步骤：首先，在多标签空间中定义一种新型的距离度量方法，用来衡量在特定的分类目标下多标签空间中点与点之间的距离，所述新型的距离度量方法为：将多标签训练集表示为训练集中的每个点都被标上了多种多样的标签，整个训练集的标签字典组成了S维的多标签空间多标签训练集中的每个点的特征向量表示为x_i，在标签字典中的标签向量表示为d_i＝(d_i，1，d_i，2，...，d_i，S)′，其中d_i，r∈{0，1}，1≤r≤S表示字典中的第r个标签T_r是否在I_i中出现，同时用y_i，r表示I_i的分类标签，y_i，r＝2·d_i，r‑1，在多标签一对多One Vs All的分类模式中，当一个标签T_r被作为分类目标时，标签字典中其余的标签就会组成一个S‑1维的标签特征空间用t_i，r表示I_i在空间中的特征向量，t_i，r＝(d_i，1，...，d_i，r‑1，d_i，r+1，...，d_i，S)′，定义当给定d_i，k＝0 or 1时，其中k∈{1，...，r‑1，r+1，...，S}，d_i，r＝0 or 1的条件概率如下所示：$P_{10}\stackrel{\Delta }{=}P(d_{i,r}=1|d_{i,k}=0)=1-P_{00}$$P_{01}\stackrel{\Delta }{=}P(d_{i,r}=0|d_{i,k}=1)=1-P_{11}$将每一个标签T_r的关联度向量标记为g_r，g_r＝(g_r，1，...，g_r，r‑1，g_r，r+1，...，g_r，S)′，向量的每一个元素表示标签T_r与其他标签的关联度，关联度元素g_r，k(k∈{1，...，r‑1，r+1，...，S})的定义如下式所示：g_r，k＝P₀₀·P₁₁+P₁₀·P₀₁，将样本点在空间中的特征向量与每一个标签T_r关联度向量结合起来，得到多标签空间中一种新型的距离度量方法的定义如下式所示：dis_r(I_i，I_j)＝||(t_i，r‑t_j，r)⊙g_r||_p，其中⊙表示向量之间的阿达马Hadamard乘积；然后，在特定的分类目标下对多标签空间中的每个点定义一个邻域，某点的邻域包含在新型的距离度量方法下离中心点最近的几个点，所述的邻域的表示方法为：I_i在空间中用这种新型距离度量方法定义的邻域，不包括I_i自己，表示为I_i和其领域中数据点的分类结果相似度高，和非邻域数据点的分类结果相似度低，邻域的大小u表示I_i在空间中的最邻近的邻居点的个数，最后，结合每个样本点在多标签空间中的邻域信息，利用提出的一种新的多标签柔性支持向量机分类器进行多标签分类训练，所述新的多标签柔性支持向量机分类器的建立方法为：将每个点I_i的分类标签y_i，r的取值范围从两个点{‑1，+1}扩展到了一个柔性范围[‑1，+1]内，每个点I_i的柔性分类标签标记为l_i，r，l_i，r的取值不仅取决于I_i的分类标签y_i，r，还取决于I_i在空间中最邻近的邻居点的分类标签，l_i，r的定义如下所示：D是常量，且0≤D＜1，多标签柔性支持向量机的优化式如下：$\begin{array}{cc}\underset{w}{\min }& \frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{n}{\Sigma }}\left|l_{i,r}\right|{\xi }_i\end{array}$$\begin{array}{cc}s.t.& {\forall }_{i=1}^n:l_{i,r}(w^T{x}_i+\hat{b})\ge {\left|l_{i,r}\right|}^2-\left|l_{i,r}\right|{\xi }_i,{\xi }_i\ge 0\end{array}$其中w，分别是多标签柔性支持向量机分类器SVM‑MSM的系数和偏置，C是常数，ξ_i是松弛变量，“s.t.”表示“受约束”“使得......满足”，表示“对于任意的i，i∈{1，2，...，n}”。