基于Centering Trick卷积限制玻尔兹曼机的物体识别方法

摘要

本发明涉及基于centering trick卷积限制玻尔兹曼机的物体识别方法，包括构造训练数据库，对图像进行重构，进行白化预处理，采用融合centering trick的CRBM模型对训练集进行特征提取，将三维特征矩阵变换为一维特征向量，采用Softmax分类器对特征进行分类，获取测试集并对其进行重组和白化，计算池化层输出所对应的假设值S_i，根据S_i是否等于测试集标签判断分类是否正确。本发明在特征提取过程中充分利用图像自身的二维性及像素间的联系，使用CRBM模型实现权重共享，减少了运算所需内存，提高了运算速度。利用centering trick减少了每一层输入时的噪声，提高了运算的准确性和模型的稳定性。

主权项

基于Centering Trick卷积限制玻尔兹曼机的物体识别方法，其特征在于在计算机中依次按以下步骤执行：训练阶段，按以下步骤进行训练：步骤1，构造训练数据库；计算机采集并输入N_V×N_V像素大小的物体图像，并按物体类别划分为N种类别、类别编号为1～N，每类物体图像中包含T幅训练图像，构造训练图像集合，用P_train表示，总数为：N×T＝Q幅图像；步骤2，依次对P_train中的每幅图像进行重构；将原有表示2维图像的2维矩阵重构为4维矩阵；第1、2维分别表示高和宽，且图像高与宽相等，均记作N_V；第3维表示图像的颜色，记为color，若图像为RGB图像color＝3，否则color＝1；第4维表示图像的数量，即Q；重构好的图像集表示记为data＝{data_i,i＝1,2,3,…,Q}，data为N_V×N_V×color×Q矩阵，其对应的标签集合为L＝{L_i，i＝1,2,…,Q}，集合L中的值可分为N类，对应训练数据库中的图像的N个类别；步骤3，对集合data中的图像data_i进行白化预处理，即data_i的协方差矩阵除以其对角元素的值λ_i的算术平方根；集合data白化后的结果记为data_whiteni＝{data_whiten，i,i＝1,2,3,…,Q}；步骤4，采用融合centering trick的CRBM模型对训练集P_train进行特征提取，方法如下：步骤4.1，将data_white,i随机划分为numbatches组，每一组含有numcases个图像，新产生的小数据集记为batchdata_n，n＝1,2,3,…,numcases；numcases根据训练集的大小可取10～100范围内任意整十数，numbatches的取值为QNumcases，Q为训练集中的样本个数；步骤4.2，可视层v、探测层h与池化层p形成CRBM网络；在CRBM模型中，隐含层被分成K组，每组由N_H×N_H个二进制单元组成，因此隐含层的节点数为每组又与N_W×N_W滤波器相连，且将探测层的每一组分成C*C块，每一块对应着池化层的节点池化层每组的大小为N_p，且N_p＝N_H/C；模型层数为Maxlayer，考虑到模型的复杂度，Maxlayer一般取3～7范围内的任意整数；将batchdata作为可视层的输入v，在输入层引入centering trick算法，改进其能量函数的定义，并结合最大池化概率方法，计算隐含层和池化层；步骤4.3，计算已知可视层v，探测层h的概率，公式如下：$\mathrm{poshidprobs}=P(h_{i,j}^k=1|v)=\frac{\exp \left(I\left(h_{i,j}^k\right)\right)}{1+{\Sigma }_{(i,j\prime \prime )\in B_{\alpha }}\exp \left(I\left(h_{i\prime ,j\prime }^k\right)\right)}---\left(1\right)$其中，v表示可视层节点的值，h表示隐含层节点的值0或1，个数为表示第K组的第i行j列的节点，B_α表示所在的区域；$I\left(h_{i,j}^k\right)=b_k+{(W*(v-{\beta }_v))}_{i,j},$b表示隐含层偏移量，β_v表示centering trick中可视层的center因子，W表示可视层到隐含层的权重，是大小为N_W*N_W*colors*K的4维矩阵，“*”表示卷积运算；步骤4.4，计算已知可视层v，池化层p的概率，公式如下：$\mathrm{poshidprobs}=P(p_{\alpha }^k=0|v)=\frac{\exp \left(I\left(h_{i,j}^k\right)\right)}{1+{\Sigma }_{(i,j\prime \prime )\in B_{\alpha }}\exp \left(I\left(h_{i\prime ,j\prime }^k\right)\right)}---\left(2\right)$步骤4.5，将poshidprobs记为探测层h的输入，利用吉布斯采样计算可视层v，结果即为recon：$\mathrm{recon}=P(v_{i,j}^k=1|h)=\sigma ((W^k*(h^k-{\beta }_h))+c)---\left(3\right)$其中，c表示可视层偏移量，σ为sigmoid函数，其表达形式为σ＝f(x)＝1/(1+e^‑x)，β_h表示centering trick中隐含层的center因子；步骤4.6，将recon作为可视层输入v，重复步骤4.3将结果记为neghidprobs；步骤4.7，将recon作为可视层输入v，重复步骤4.4将结果记为negpoolprobs；步骤4.8，更新权重W：ddw＝batchdata*poshidprobs‑recon*neshidprobs (4)$\mathrm{dW}\leftarrow \mathrm{pW}\times \mathrm{dW}+\frac{\mathrm{ddw}}{\mathrm{szBatch}}---\left(5\right)$W←W+epsW×(dW‑decayw×W) (6)其中，pW＝0.95,szBatch＝10，epsW＝0.01,decayw＝0.01；步骤4.9，更新可视层偏移量c：$\mathrm{dc}=\frac{\mathrm{batchdata}-\mathrm{recon}/{\mathrm{Nv}}^2}{\mathrm{szBatch}}---\left(7\right)$c←c+epsvbias×dc (8)其中，epsvbias＝0.1；步骤4.10，更新隐含层偏移量b：$\mathrm{db}=\frac{\mathrm{posprobs}-\mathrm{negprobs}/{\mathrm{Nw}}^2}{\mathrm{szBatch}}---\left(9\right)$b←b+epsvbias×db (10)其中，epsvbias＝0.1；步骤4.11，重复步骤4.3～4.10numbatches次，将每个batchdata对应得到的pospoolprobs作为输出，即提取的特征，在训练过程中不断更新参数权重W，偏移量c,b；步骤4.12，重复步骤4.1～4.11epoch次，完成融合centering trick的CRBM网络学习，固定网络参数权值W和偏移量b、c；考虑到运算的复杂度，及运算的精度，epoch一般在100～500范围内；步骤4.13，利用贪婪算法，训练下一个融合centering trick的CRBM；将池化层的输出视为下一个CRBM的可视层v，新加入的探测层为h’，重复步骤4.3；步骤4.14，计算新一层的网络已知可视层v，池化层p的概率，重复步骤4.4；步骤4.15，计算新一层的网络已知原始可视层v、原始探测层h的条件下，新加入的探测层的概率h’：$\mathrm{recon}=P(p_{\alpha }^k=0|v,h\prime )=\frac{1}{1+{\Sigma }_{(i\prime ,j\prime )\in B_{\alpha }}\exp (I\left(h_{i,j\prime \prime }^k\right)\_I\left(p_{\alpha }^k\right))}---\left(11\right)$其中，是h与h’之间的权重，是大小为N’_W*N’_Wcolor*K的4维矩阵，N’_W＝N‘_VN_H+1,N‘_V为新一层网络的可视层输入的第1、2维的大小；步骤4.16，重复步骤4.6～4.12，计算新一层网络的权值W和偏移量b、c；步骤4.17，重复步骤4.13～4.16，对新加入的网络进行学习以计算下一层网络权值，直至达到第Maxlayer层；所得到的结果pospoolprobs即为对输入特征提取后的结果，记为Z_train＝{Z_i,i＝1,2,…,numcases}，其对应的标签为L_train＝{Li,i＝1,2,…,numcases}；步骤5，将三维特征矩阵Z_i变换为一维的特征向量，记作Z_train＝{Z_i,i＝1,2,…,numcases}；步骤6，采用Softmax分类器对特征进行分类，其训练过程如下：步骤6.1，计算输入层Z_i对应的假设值为S_i，且S_i＝σ(θZ_i)，θ为Softmax输出层与输入层之间的权重，σ仍为sigmoid函数，见步骤4.5；步骤6.2，训练模型权重θ，使其代价函数取得最小值；采用梯度下降法最小化其代价函数，代价函数形式如下：其中yⁱ即为Zi的标签L_i，m即为numcases；步骤6.3，重复步骤6.1、步骤6.2，直至代价函数收敛；测试阶段按以下步骤进行：步骤7，按照步骤1获取测试集P_test，并按照步骤2、3对测试集P_test进行重组和白化；步骤8，将融合centering trick的CRBM模型参数，设定为步骤1～6训练得到的模型参数；按照公式(1)、(2)计算探测层与池化层的输出，并计算池化层输出所对应的假设值S_i；步骤9，判断S_i是否等于测试集的标签L_i，若等于则说明分类正确；反之，则认为分类失败。