基于多尺度LBP和稀疏编码的大规模人脸表情识别方法

摘要

本发明提供了一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，首先建立大规模的人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库，其次使用多尺度的LBP特征来表示人脸的表情特征，进而生成稀疏编码方法所需要的字典，通过对新的表情样本求解最优稀疏系数，并累加不同表情的稀疏系数来识别表情样本，本发明利用多尺度LBP特征获取鲁棒性强的特征表示方式，利用稀疏编码解决了大规模人脸表情识别中的稀疏性问题，验证了基于多尺度LBP和稀疏编码的大规模人脸表情识别方法的有效性。

主权项

一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，其特征在于包括下述步骤：(1)大规模表情数据库的建立针对每种表情，每种表情下载N₁幅图片，N₁为任意整数，六种表情共6*N₁幅图片，并通过使用AP聚类算法对每种表情图片进行聚类，人工选择出与每种表情最一致的图片聚类中心，每种表情得到N₂幅图片，N₂为任意整数，构成大规模人脸表情数据库，该大规模人脸表情数据库共有6*N₂幅表情图片；利用AdaBoost方法对大规模人脸表情数据库中的图片进行人脸检测和归一化处理；从每种表情的N₂幅图片中随机抽取M幅图片作为该类表情的训练数据库，所有表情组成的训练数据库包含6*M幅图片，剩余的该类表情图片作为测试数据库；(2)多尺度LBP特征提取将人脸按照水平方向和垂直方向划分为n×n等大小的子块，n为任意整数，针对每个子块分别计算其多尺度的LBP直方图，计算方法如下：每个像素点某尺度上的LBP_P,R值为：其中，g_c为像素点的灰度值，g_p为该点半径为R的圆上P个等距离像素点的灰度值，p＝0，…，P‑1，这些灰度值对应的是对称圆形邻域，当g_p≥g_c时，s(g_p‑g_c)取1，当g_p＜g_c时，s(g_p‑g_c)取0，公式(1)中不同的R代表不同的尺度，对于每个子块不同半径内不同尺度的LBP值，统计L种LBP模式的统计直方图，即统计出每种LBP模式在整幅图像中出现的频率，然后将L种LBP模式的出现频率级联形成该子块的直方图，长度为L；将各子块多个尺度上的直方图组合起来，构成每幅表情图片的LBP特征，具体连接方式为：第m块区域的直方图表示为H_m，m＝1,2,...,n×n，其中n×n表示人脸表情图像分为n×n块，一幅完整图像的多尺度LBP特征表示如下：H＝{(H₁,H₂,...,H_n×n)₁,...(H₁,H₂,...,H_n×n)_i,...(H₁,H₂,...,H_n×n)_R}   (2)其中H为长度L*n2*R的特征向量，由R个尺度上的LBP直方图级联而成，(H₁,H₂,...H,_n×n1、)(H₁,H₂,...,H_n×n)_i及(H₁,H₂,...,H_n×n)_R分别表示在不同的尺度下采用LBP_P,R算子的图像上统计得到的LBP直方图；(3)表情词典的建立将步骤(2)中第i幅表情图片得到的LBP直方图向量H记为V_i，将6*M幅训练图片的所有特征向量级联在一起，形成词典矩阵D；词典对应的表情类别向量记为S_D＝(s₁,...,s_i,...,s_l)，其中s_i表示第i幅图片表情的类别，长度l＝6*M，s_i＝{1，2，3，4，5，6}，分别代表六种基本表情；(4)稀疏系数的求解将测试数据库中的图片对应的多尺度LBP特征向量记为y，y可表示为词典D中各分量的线性组合y＝Da，a为任意的稀疏系数解，其值为a＝(a₁,a₂,...,a_l)，表示词典中每个单词对应的权重大小，其中对应的最优稀疏系数解为a*，根据稀疏编码的基本原则，要求a*尽可能的稀疏，则最优解为：$a^{*}=\underset{a}{\arg \min }{\left|\right|a\left|\right|}_1,s.t.\mathrm{Da}=y---\left(3\right)$a*与词典的大小一致，长度l＝6*M；(5)人脸表情的识别利用步骤(4)求解出的最优稀疏系数a*，然后利用以下公式计算出测试表情图片的类别：$S=\underset{i,i=\{1,...,6\}}{\arg \max }{C}_i,C_i=\underset{j,s_j=i}{\overset{l}{\Sigma }}{a}_j^{*}---\left(4\right)$其中S表示最后计算得出的测试图片的表情类别，S＝{1,2,3,4,5,6}，C_i为每类表情对应的稀疏系数累加值，i表示表情的种类，j表示不同的图片，j的范围从1到l，s_j表示第j幅图片的表情类别，表示第j幅图片对应的最优稀疏系数，通过公式(4)求解出测试数据库中表情图片的表情类别S，将测试数据库中每幅图片求解出表情类别S，即可完成大规模人脸表情的分类识别。