基于核空间自解释稀疏表示的分类器设计方法

摘要

本发明涉及一种基于核空间自解释稀疏表示的分类器设计方法，含有以下步骤：读取训练样本，将训练样本映射到高维的核空间，在高维核空间对每一类训练样本进行学，找出该类训练样本中每个个体对于构造该类训练样本子空间所做的贡献(即权重)，该类训练样本与权重矩阵的乘积构成词典，将所有类别的词典依次排列构成一个大的词典矩阵；对测试样本通过词典矩阵获得该测试样本在核空间的稀疏编码，用每一类的词典及词典所对应的稀疏编码拟合测试样本，并计算该拟合误差；拟合误差最小的类即为测试样本的类别。与现有技术相比，本发明结合核技巧和词典学方法，一方面，考虑了特征的非线性结构，能够更加精确的对特征进行稀疏编码，另一方面，通过学的方式训练词典，有效地降低拟合误差。从而大大提升分类器的性能。

主权项

一种基于核空间自解释稀疏表示的分类器设计方法，其特征在于：含有以下步骤：步骤一：设计分类器，其步骤为：(一)读取训练样本，训练样本一共C类，定义X＝[X¹,X²,…,X^c,…,X^C]∈R^D×N表示训练样本，D是人脸特征维度，N是训练样本总的数目，X¹,X²,…,X^c,…,X^C分别表示第1,2,…,c,…,C类样本，定义N₁,N₂,…,N_c,…,N_C分别表示每类训练样本数目，则N＝N₁+N+,…+N_c+…+N_C；(二)对训练样本进行二范数归一化，得到归一化的训练样本；(三)依次取出训练样本中的每一类，并对该类样本训练词典，训练词典的过程为：(1)取出第c类样本X^c,将X^c映射到核空间φ(X^c)；(2)根据φ(X^c)训练基于稀疏编码算法的词典B^c，B^c表示第c类样本学习到的词典，该词典的训练需要满足约束条件，所述约束条件的目标函数为：$\begin{array}{c}f\left(W^c,S^c\right)=\left\{\left|\right|\phi \left(X^c\right)-\phi \left(X^c\right)W^c{S}^c|{|}_F^2+2\alpha \underset{n=1}{\overset{N_c}{\Sigma }}|\left|S_{·n}^c\right|{|}_1\right\}\\ s.t.\left|\right|\phi \left(X^c\right)W_{·k}^c|{|}_F^2\le 1,\forall k=1,2,...,K.\end{array}---\left(1\right)$式中，α为稀疏编码算法中稀疏项约束的惩罚系数，S^c为第c类核空间训练样本的稀疏表示矩阵，K为学习得到的词典的大小，是一个权重矩阵，其每一列表示核空间样本对构造词典中每个词条的贡献大小，词典B^c＝φ(X^c)W^c；(3)对步骤(2)中约束条件的目标函数进行求解，即对公式(1)求解，其求解过程为：固定W^c，更新S^c；随机产生矩阵W^c，将其带入约束条件的目标函数，这时该目标函数转化成为一个关于S^c的l₁范数正则化最小二乘问题，即目标函数转化为：$f\left(S^c\right)=\left|\right|\phi \left(X^c\right)-\phi \left(X^c\right)W^c{S}^c|{|}_F^2+2\alpha \underset{n=1}{\overset{N_c}{\Sigma }}|\left|S_{·n}^c\right|{|}_1---\left(2\right)$上述公式(2)可以简化为：$\begin{array}{c}f\left(S^c\right)=trace\left\{\phi {\left(X^c\right)}^T\phi \left(X^c\right)-2\phi {\left(X^c\right)}^T\phi \left(X^c\right)W^c{S}^c\right\}\\ +trace\left\{S^{cT}\left(W^{cT}\phi {\left(X^c\right)}^T\phi \left(X^c\right)W^c\right)S^c\right\}+2\alpha \underset{n=1}{\overset{N_c}{\Sigma }}\left|\right|S_{·n}^c|{|}_1\\ =trace\left\{\kappa \left(X^c,X^c\right)\right\}-2trace\left\{\kappa \left(X^c,X^c\right)W^c{S}^c\right\}\\ +trace\left\{S^{cT}\left(W^{cT}\kappa \left(X^c,X^c\right)W^c\right)S^c\right\}+2\alpha \underset{n=1}{\overset{N_c}{\Sigma }}\left|\right|S_{·n}^c|{|}_1\\ =trace\left\{\kappa \left(X^c,X^c\right)\right\}-2\underset{n=1}{\overset{N_c}{\Sigma }}{\left[\kappa \left(X^c,X^c\right)W^c\right]}_{n·}{S^c}_{·n}\\ +\underset{n=1}{\overset{N}{\Sigma }}{S^{cT}}_{·n}\left[W^{cT}\kappa \left(X^c,X^c\right)W^c\right]{S^c}_{·n}+2\alpha \underset{k=1}{\overset{K}{\Sigma }}\underset{n=1}{\overset{N_c}{\Sigma }}\left|{S^c}_{kn}\right|\end{array}---\left(3\right)$κ(X^c,X^c)＝<φ(X^c),φ(X^c)>为核函数。进一步把公式(3)分解成一系列子问题求解；针对S^c中的每一个元素进行求解，并剔除掉与求解无关的项，则公式(3)可以简化为：$\begin{array}{c}f\left(S_{kn}^c\right)=-2{\left[\kappa \left(X^c,X^c\right)W^c\right]}_{nk}{S}_{kn}^c+{S_{kn}^c}^2{\left[W^{cT}\kappa \left(X^c,X^c\right)W^c\right]}_{kk}\\ +2\underset{l=1,l\ne k}{\overset{K}{\Sigma }}{\left[W^{cT}\kappa \left(X^c,X^c\right)W^c\right]}_{lk}{S}_{kn}^c+2\alpha \left|{S^c}_{kn}\right|\end{array}---\left(4\right)$根据抛物线理论，很容易求出公式(4)的解；并且由于每个样本点是独立的，每次求解S^c的一行，其求解公式如下：$\begin{array}{c}{S^c}_{k·}=\min \left\{{\left[W^{cT}\kappa (X^c,X^c)\right]}_{k·}-{\left[E{\overline{S^c}}^k\right]}_{k·},-\alpha \right\}\\ +\max \left\{{\left[W^{cT}\kappa (X^c,X^c)\right]}_{k·}-{\left[E{\overline{S^c}}^k\right]}_{k·},\alpha \right\}\end{array}---\left(5\right)$式中，${\overline{S^c}}^k=\left\{\begin{array}{cc}{S^c}_{p·},& p\ne k\\ 0,& p=k\end{array}\right.,$E＝W^cTκ(X^c,X^c)W^c。遍历S^c的每一列，完成S^c的一次更新；(4)固定步骤(3)中更新后的S^c，更新W^c，这时约束条件的目标函数转换为一个l₂范数约束的最小二乘问题，即目标函数转化为：$\begin{array}{c}f\left(W^c\right)=\left|\right|\phi \left(X^c\right)-\phi \left(X^c\right)W^c{S}^c|{|}_F^2\\ s.t.\left|\right|\phi \left(X^c\right)W_{·k}^c|{|}_F^2\le 1,\forall k=1,2,...,K.\end{array}---\left(6\right)$上述公式(6)采用拉格朗日乘子的方法求解，最终求得的解为：$W_{·k}^c=\frac{{S_{k·}^c}^T-{\left[{\overline{W^c}}^{k}F\right]}_{·k}}{\sqrt{{({S_{k·}^c}^T-{\left[{\overline{W^c}}^{k}F\right]}_{·k})}^T\kappa (X^c,X^c)({S_{k·}^c}^T-{\left[{\overline{W^c}}^{k}F\right]}_{·k})}}---\left(7\right)$式中，F＝S^cS^cT,${\overline{W^c}}^k=\left\{\begin{array}{cc}{W}_{·p}^c,& p\ne k\\ 0,& p=k\end{array}\right..$(5)交替迭代步骤(3)和步骤(4)，最终得到最优稀疏编码词典B^c＝φ(X^c)W^c；(6)按照步骤(1)至(5)获得每类样本的最优稀疏编码词典，将每类样本得到的最优稀疏编码词典放在一起，获得词典B＝[B¹,…,B^c,…,B^C]；步骤二：对样本进行分类，其步骤为：(1)读取待识别测试样本的图像特征，并对图像特征进行二范数归一化，定义y∈R^D×1表示一幅待识别的测试样本图像特征；(2)将测试样本图像特征y映射到核空间φ(y)；(3)使用步骤一中获得的词典B，对核空间φ(y)进行拟合，拟合函数为：$f\left(s\right)=\left|\right|\phi \left(y\right)-Bs|{|}_2^2+2\alpha |\left|s\right|{|}_1---\left(8\right)$式中s表示核空间中测试样本图像特征y的稀疏编码；(4)步骤(3)中的拟合函数进行求解，求解结果为：$\begin{array}{c}{s}_{·k}=\min \left\{{\left[W^{cT}\kappa \left(X^c,y\right)\right]}_{k·}-{\left[W^{cT}\kappa \left(X^c,X^c\right)W^c{\bar{s}}^k\right]}_{k·},-\alpha \right\}\\ +\max \left\{{\left[W^{cT}\kappa \left(X^c,y\right)\right]}_{k·}-{\left[W^{cT}\kappa \left(X^c,X^c\right)W^c{\bar{s}}^k\right]}_{k·},\alpha \right\}\end{array}---\left(9\right)$式中，${\bar{s}}^k=\left\{\begin{array}{cc}{s}_p,& p\ne k\\ 0,& p=k\end{array}\right.,$s＝[s¹,…,s^c,…,s^C]；(5)求核空间φ(y)在每类样本所构成子空间的拟合误差，用r(c)表示，其表达式为：$\begin{array}{c}r\left(c\right)=\left|\right|\phi \left(y\right)-B^c{s}^c|{|}_2^2\\ =\left|\right|\phi \left(y\right)-\phi \left(X^c\right)W^c{s}^c|{|}_2^2\end{array}---\left(10\right)$(6)比较核空间φ(y)和每类样本的拟合误差，待识别图像则属于拟合误差最小的那个类别。