多类别面部表情高精度识别方法

摘要

本发明涉及一种基于Haar-like特征的多类别面部表情高精度识别方法，属于计算机科学与图形图像处理技术领域。本发明首先使用Haar-like特征和串联人脸检测分类器实现高准确性的人脸检测；进而利用AdaBoost.MH算法对高维Haar-like特征进行特征筛选；最终使用随机森林算法进行表情分类器训练，以完成表情识别。与现有技术相比，本发明在进一步提升多种类别表情识别率的同时，大大减少训练和识别的时间开销，并可方便地实现并行化，以进一步提高识别效率、满足实时处理及移动计算的需求。本发明可对静态图像和动态视频进行高精度识别；不仅适用于桌面计算机，也适用于手机、平板电脑等移动计算平台。

主权项

多类别面部表情高精度识别方法，其特征在于：包括如下步骤：步骤1，使用多张面部区域图像作为正样本、多张非面部区域图像作为负样本进行离线训练，得到面部识别分类器；步骤2，在步骤1的基础上，进行面部表情分类器的离线训练；具体过程如下：步骤2.1，对面部图像训练数据进行表情标注，具体方法为：收集各种待识别表情类别的图片或视频的关键帧，形成训练图像集A，其中包含的图像数目为m；使用连续的整数编号作为各张图片或关键帧的类别标签，形成表情类别标签集Y＝{1,2,…,k}，其中k为待识别的表情类别数；步骤2.2，对经步骤2.1标注后的每幅训练图像进行面部区域数据提取，得到剪裁出的面部图像，形成训练图像集B；步骤2.3，为了训练表情分类器，对步骤2.2所形成的训练图像集B中的每幅图像进行Haar‑like特征的二次提取，Haar‑like特征提取的具体方法为：计算每一幅剪裁出的图像的积分图，根据各个积分图计算相对应的H维Haar‑like特征值；将每幅图像相应的H维Haar‑like特征向量记作一行，使所有m幅图像的全部H维Haar‑like特征向量构成一个m行、H列的特征矩阵X；步骤2.4，使用AdaBoost.MH算法，对步骤2.3得到的Haar‑like特征矩阵X进行特征提取；Haar‑like特征提取方法的具体过程为：步骤2.4.1，初始化每幅图像对应的权重，记作D₁(i,y_i)＝1/(mk)，y_i∈Y表示第i个图像的表情类别标签，i＝1…m；步骤2.4.2，开始第f轮迭代，f＝1…F：依次将特征矩阵X的各列数据作为一个弱分类器的输入，进行H次运算，得到r_f,j：$r_{f,j}={\Sigma }_{i=1}^m{D}_f(i,y_i)K\left[y_i\right]h_j(x_{i,j},y_i),$其中，j＝1…H，x_i,j表示X的第i行中的第j个元素；h_j(x_i,j,y_i)表示以x_i,j作为输入的弱分类器，D_f(i,y_i)表示第f轮迭代中第i个训练图像的权重值，$K\left[y_i\right]=\left\{\begin{array}{cc}+1& y_i\in Y=\{\mathrm{1,2},...,k\}\\ -1& y_i\notin Y=\{\mathrm{1,2},...,k\}\end{array}\right.;$结束H次运算后，取本轮迭代得到的H个r_f,j中的最大值，记作r_f，并将r_f对应的、采用X的第j维特征值x_j作为输入的弱分类器h_j(x_j,Y)，作为第f轮筛选出的弱分类器h_f(x_j,Y)，同时将x_j作为筛选出的特征维加入到新的特征空间；步骤2.4.3，计算由步骤2.4.2选择出的弱分类器h_f(x_j,Y)的权重α_f：${\alpha }_f=\frac{1}{2}\ln \left(\frac{1+r_f}{1-r_f}\right);$步骤2.4.4，计算第f+1轮迭代中各个图像的权重D_f+1；$D_{f+1}=\frac{D_f(i,y_i)\exp \left({-\alpha }_{f}K\right[y_i\left]h_f(x_{i,j},y_i)\right)}{Z_f},i=1...m.$其中，h_f(x_i,j,y_i)表示第f轮迭代中筛选出的、以第i个图像的第j维特征值作为输入的弱分类器，Z_f是归一化因子$Z_f={\Sigma }_{i=1}^m{D}_f(i,y_i)\exp \left({-\alpha }_{f}K\right[y_i\left]h_f(x_{i,j},y_i)\right);$步骤2.4.5，将步骤2.4.4得到的新权重代入步骤2.4.2，按照步骤2.4.2至步骤2.4.4的方法迭代，直到筛选出F维Haar‑like特征，并在特征矩阵X中提取F列，形成一个m行、F列的主要特征矩阵X’；步骤3，使用经步骤2.4.5得到的主要特征矩阵X’和经过步骤2.1标注的表情类别标签集Y，训练生成表情识别分类器，训练的过程遵循随机森林算法，具体方法为：步骤3.1，根据设计要求中的决策树数目T和结点特征维数u，生成T棵CART分类决策树；所述决策树的根结点的记录格式为N(J)，中间结点的记录格式为N(V,J)，叶子结点的记录格式为(V,J,y_t)；其中，J表示结点N的分裂特征维，V表示结点N的特征值，y_t表示结点N的类别标签；每棵CART分类决策树的生成方法为：步骤3.1.1，进行m次可放回随机取样，每次抽取主要特征矩阵X’的一行，构成一个新的m行、F列的矩阵X″，用于本棵CART分类决策树的生长；X″中各行特征对应的训练样本标签构成新的表情类别标签集Y″；步骤3.1.2，从根结点开始，逐结点地进行结点分裂，最终完成整棵树的生长；每个结点的分裂过程为：a)从矩阵X″中随机选择u列作为本结点分裂所需的训练数据，其中表示X″的第j列；b)分别计算选出的的信息增益IG_j，得到u个IG_j；${\mathrm{IG}}_j=\mathrm{IG}\left(Y^{\prime \prime }\right|{\bar{x}}_j^{\prime \prime })=H\left(Y^{\prime \prime }\right)-H\left(Y^{\prime \prime }\right|{\bar{x}}_j^{\prime \prime }),$其中，H(Y″)为表情类别标签集Y″的信息熵：$H\left(Y^{\prime \prime }\right)={-\Sigma }_{w=1}^{k}p({y^{\prime \prime }}_w=V_w)·{\log }_{2}p({y^{\prime \prime }}_w=V_w),$V_w表示Y″中第w个类别标签的取值，V_w∈{1,2,…,k}；为表情类别标签集Y″基于的条件熵：$\begin{array}{c}H\left(Y^{\prime \prime }\right|{\bar{x}}_j^{\prime \prime })={\Sigma }_{s=1}^{h}p({x^{\prime \prime }}_j=V_s)·H\left(Y^{\prime \prime }\right|{x^{\prime \prime }}_j=V_s)\\ ={-\Sigma }_{s=1}^{h}p({x^{\prime \prime }}_j=V_s)·{\Sigma }_{w=1}^{q}p({y^{\prime \prime }}_w=V_{w|s})·{\log }_{2}p({y^{\prime \prime }}_w=V_{w|s})\end{array}$V_s表示x″_j中元素所有相异取值中的第s种取值；V_w|s表示V_s对应的表情类别标签；H(Y″|x″_j＝V_s)为V_s对应的表情类别标签集合的信息熵，x″_j表示X″的第j列中的元素，h≤m，q≤k；c)比较步骤b得到的u个信息增益值IG_j，并将X″中使IG_j取值最大的一列提取出来，记作x″_J，同时将该列在X’中的列数J记录下来，作为本结点的分裂特征维；d)统计x″_J中所有相异特征值的数量c，然后给当前结点建立c个分别以相异特征值为结点特征值V的子结点，并以该子结点作为子树的根结点，生成新的子树，子树的生长方法为：将x″_J中所有取值等于该特征值的元素所在X″中的行向量提出，组成新的特征矩阵X^v，再将所提出行向量对应的所有表情类别标签提出，组成新的表情类别标签集合Y^v；然后使用(X^v,Y^v)替代(X″,Y″)，递归地进行步骤a—d的操作，直到满足下列条件之一时，结束本子树的生长：①X^v的行数小于2，或各行中所有特征值都相等致使本结点无法继续分裂时，把对应的表情类别标签集合Y^v中出现频率最高的标签作为该结点的类别标签y_t保存；②本结点下的Y^v中的表情类别标签都相同时，将唯一的表情类别标签作为该结点的类别标签y_t保存；步骤3.2，保存所有T棵CART分类决策树，形成最终的随机森林表情识别分类器；步骤4，利用步骤3离线训练得到的随机森林表情识别分类器，对待测静态图像或动态视频进行在线识别；1)对静态图像的识别方法为：步骤a，提取待识别静态图像中的面部区域；步骤b，在步骤a的基础上，根据Haar‑like特征提取方法，以及步骤2.4.5得到的主要特征矩阵X’，提取识别所需的F维Haar‑like特征，构成待识别表情图像的特征向量，记作x；用x_J表示特征向量x的第J维特征值；步骤c，利用步骤3离线训练得到的随机森林表情识别分类器中的T棵CART分类决策树分别对待识别表情图像的特征向量x进行识别，每棵CART分类决策树的识别从根结点开始，具体过程为：c.1.从分类器中获取当前结点的分裂特征维J，读取待识别表情图像的特征向量x的第J维特征值x_J；c.2.在当前结点的子结点中进行查找，选出结点特征值与x_J最相近的子结点；c.3.反复递归地进行c.1‑c.2的操作，直到当前结点是叶子结点，停止递归，并将该叶子结点的类别标签y_t作为本棵CART分类决策树的识别结果输出；步骤d，对随机森林表情识别分类器中T棵CART分类决策树的T个输出结果y_t进行统计，将出现频率最高的类别标签作为最终的识别结果输出；2)对动态视频的识别方法为：步骤e，对视频文件进行解码，提取每帧数据，得到待识别图像序列；步骤f，在步骤e的基础上，对待识别图像序列中的每幅图像进行面部区域数据提取，得到待识别面部图像序列；步骤g，按照步骤2.4所述的Haar‑like特征提取方法，对步骤f所得到的待识别面部图像序列中的每幅面部图像提取步骤2.4.5所筛选出的F维Haar‑like特征；步骤h，在步骤g的基础上，使用步骤3离线训练得到的随机森林表情识别分类器，对待识别面部图像序列中的每幅面部图像进行识别，得到表情类别序列；所述面部图像的识别过程与步骤c、d相同；步骤i，对步骤h得到的表情类别序列进行平滑，去除识别序列当中的毛刺判决，得到最终识别结果。