基于自编码器的人脸图像旋转方法

摘要

本发明公开了一种基于自编码器的人脸图像旋转方法，依次包括以下步骤：首先，采集每一位用户的原始正面和侧面人脸图像，并通过手工方式选取包含人脸的区域构成纯人脸图像，并以此作为用户人脸图像的模板；然后，将模板库中的彩色图像转换成灰度图像；其次，从自编码器的输入层到中间层，将相邻两层看作RBM，逐层训练每个RBM。将训练后RBM堆叠得到自编码器，并用训练RBM得到的权值和偏置作为自编码器的初始化权值和偏置；再次，使用反向传播算法逐层调整自编码器各层的权值和偏置；最后，使用新用户的侧面人脸图像，对训练过的自编码器进行测试，将侧面图像重建成正面人脸图像。该方法重建过程更加智能化。

主权项

一种基于自编码器的人脸旋转方法，其特征在于：该方法依次包括以下步骤，步骤1、建立人脸图像模板库，定义有N个用户，使用图像采集设备，为每一个用户拍摄正面和侧面原始人脸图像，拍摄侧面图像时，让人脸以正前方为基准，旋转一定角度进行拍摄；设人脸旋转的角度为α，‑45°≤α≤45°；获得原始人脸图像后，手工选择图像中只包含人脸部分构成纯人脸图像，每个用户选一张正面图像作为目标图像模板和m张侧面图像作为侧面图像模板，第c个用户的正面图像和侧面图像分别用P_c和表示，1≤c≤N，1≤m≤100，(c‑1)m+1≤t≤cm，用H_c和W_c分别表示正面图像的高和宽，和分别表示侧面图像的高和宽，用$\mathrm{SOF}=\{P_c\cup S_c^t|1\le c\le N,1\le m\le 100,(c-1)m+1\le t\le \mathrm{cm}\}$表示N个用户的纯人脸图像模板库，把N个用户的人脸图像模板SOF分成两部分，一部分为训练人脸库D1，包含每个用户的一幅正面图像和m幅侧面图像，用于训练自编码器；剩余用户的正面图像和侧面图像作为测试人脸库D2，用于测试训练后的自编码器；步骤2、如果纯人脸图像模板是彩色图像，则首先将彩色图像转换成灰度图像，用R_c(h,w)、G_c(h,w)和B_c(h,w)分别表示第c个用户正面人脸图像中第(h,w)个像素的红色分量、绿色分量和蓝色分量，根据著名灰度化心理学公式计算其灰度值如下：g_c(h,w)＝(R_c(h,w)×299+G_c(h,w)×587+B_c(h,w)×114+500)/1000灰度化后的人脸图像分别用P_c＝{g_c(h,w)}，表示；步骤3、使用训练人脸库D1中每个用户经过灰度化后的侧面图像为训练图像，每个用户对应的灰度化后的正面图像为目标输出，训练自编码器；定义自编码器包含2r‑1个隐含层，输入层的节点数为l，l＝H_c×W_c；第k个隐含层的节点数分别为l_k(1≤k≤2r‑1)，输出层的节点数和输入层的节点数相同，都为l，网络的参数为各个层的权值和偏置；自编码器的训练过程包含逐层无监督预训练和有监督微调两个阶段，在逐层无监督预训练过程中，从自编码器的输入层到中间层，把相邻两层看作受限玻尔兹曼机，其中每个RBM的输出是上一个相邻RBM的输入，从最底层的RBM开始，逐层对所有RBM进行学习训练；逐层训练完成后，采用有监督的方式，从网络的输出层到输入层，逐层调整网络的参数；第k(1≤k≤r)个RBM的可视层为h_k‑1，隐含层为自编码器的第k个隐含层h_k，RBM的学习过程具体步骤如下：步骤3.1、随机初始化权值矩阵W^k，可视层偏置向量a^k和隐含层偏置向量b^k为接近于0的数值；步骤3.2、对输入向量h_k‑1，计算下面的概率值：$P(h_{\mathrm{ki}}=1|h_{k-1})=\frac{1}{{1+e}^{-(\underset{j=1}{\overset{l_{k-1}}{\Sigma }}{w}_{\mathrm{ij}}^k{h}_{k-1,j}+b_i^k)}},1\le i\le l_k$随机产生i个0到1之间的随机数β_i，将P(h_ki＝1|h_k‑1)与对应的β_i进行比较，若P(h_ki＝1|h_k‑1)大于β_i，则令P(h_ki＝1|h_k‑1)＝1；否则，令P(h_ki＝1|h_k‑1)＝0；步骤3.3、使用采样得到的P(h_ki＝1|h_k‑1)，计算下面的概率值，得到可视层的重建$P({\hat{h}}_{k-1,j}=1|h_k)=\frac{1}{{1+e}^{-(\underset{i=1}{\overset{l_k}{\Sigma }}{w}_{\mathrm{ij}}^k{h}_{k,i}+a_j^k)}},1\le j\le l_{k-1}$步骤3.4、使用可视层的重建计算下面的概率值：$P({\hat{h}}_{\mathrm{ki}}=1{\hat{h}}_{k-1})=\frac{1}{{1+e}^{-(\underset{j=1}{\overset{l_{k-1}}{\Sigma }}{w}_{\mathrm{ij}}^k{\hat{h}}_{k-1,j}+b_i^k)}},1\le i\le l_k$步骤3.5、按照下式更新各个参数：$W^k\leftarrow W^k+\eta (P(h_{\mathrm{ki}}=1|h_{k-1})h_{k-1}^T-P({\hat{h}}_{\mathrm{ki}}=1|{\hat{h}}_{k-1}){\hat{h}}_{k-1}^T\left)\right)$$a^k\leftarrow a^k+\eta (h_{k-1}-{\hat{h}}_{k-1})$$b^k\leftarrow b^k+\eta (P(h_{\mathrm{ki}}=1|h_{k-1})-P({\hat{h}}_{\mathrm{ki}}=1|{\hat{h}}_{k-1}))$式中，η表示学习率，0＜η＜1，通常取0.01或者0.1；步骤4、依照步骤3，依次学习第1个到第r个RBM；步骤5、将训练后的r个RBM从底向上堆叠，然后以第r个RBM的隐含层作为中间层，将这r个RBM再反向堆叠，得到自编码器，并用步骤4得到的权值和偏置初始化自编码器；步骤6、采用反向传播算法调整自编码器的参数；步骤6.1、对于输入向量x，根据以下公式，计算自编码器各层神经元的激活：$\left\{\begin{array}{c}{h}_{1i}=\sigma (\underset{j=1}{\overset{l}{\Sigma }}{w}_{\mathrm{ij}}^1{x}_j+b_i^1),i=\mathrm{1,2},...,l_1;\\ h_{\mathrm{ki}}=\sigma (\underset{j=1}{\overset{n_{k-1}}{\Sigma }}{w}_{\mathrm{ij}}^k{h}_{k-1,j}+b_i^k),i=\mathrm{1,2},...,l_k,1<k\le 2r-1;\\ o_i=\sigma (\underset{j=1}{\overset{n_r}{\Sigma }}{w}_{\mathrm{ij}}^{2r}{h}_{2r-1,j}+b_i^{2r}),i=\mathrm{1,2},..,l.\end{array}\right.$其中，σ(·)为sigmoid函数，σ(x)＝1/1+e^‑x，和是有关的偏置，且$b^k={(b_1^k,...,b_i^k,...,b_{n_k}^k)}^T,$1≤k≤2r；步骤6.2、目标函数为实际输出向量o与目标输出向量y的交叉熵，用f表示：$f=-\underset{t=1}{\overset{\mathrm{mN}}{\Sigma }}\underset{j=1}{\overset{l}{\Sigma }}(y_j^t\times \log o_j^t+(1-y_j^t)\times \log (1-o_j^t))$步骤6.3、令$h_k^t=\sigma \left(u_k^t\right),u_k^t=W^k{h}_{k-1}^t+b^k(1\le k\le 2r,1\le t\le \mathrm{mN}),$计算各代价函数f对的偏导数；计算代价函数f对输出层的偏导数，用表示：${\delta }_{2r}^t=\underset{t=1}{\overset{l}{\Sigma }}(o_j^t-y_j^t)$对于h_k(k＝2r‑1,…,1)隐含层，计算代价函数f对各层的偏导：${\delta }_k^t={\left(W^{k+1}\right)}^T{\delta }_{k+1}^t{\sigma }^{\prime }\left(u_k^t\right),1\le k\le 2r-1$步骤6.4、计算代价函数关于权值和偏置的偏导：$\left\{\begin{array}{c}\frac{\partial f}{{\partial W}^k}=\underset{t=1}{\overset{\mathrm{mN}}{\Sigma }}{h}_{k-1}^t{\left({\delta }_k^t\right)}^T\\ \frac{\partial f}{{\partial b}^k}=\underset{t=1}{\overset{\mathrm{mN}}{\Sigma }}{\delta }_k^t\end{array}\right.,1\le k\le 2r$步骤6.5、利用共轭梯度下降法对权值和偏置进行迭代更新，得到最终的权值和偏置；步骤7、读取测试人脸图像库D2，将测试人脸图像库D2中的侧面人脸图像重建成正面人脸图像。