一种基于模糊训练样本的半监督学人脸表情识别方法

摘要

本发明公开了一种基于模糊训练样本的半监督学人脸表情识别方法，本发明首先对人脸数据库数据预处理，然后使用改进的SVM算法进行人脸表情识别，最后对未知表情图像进行识别。本发明在使用相同数量的有标记样本时通过加入大量无标记样本将表情识别率提高3％～7％；在使用少量标记样本情况下，该方法通过STSVM算法将识别率提升至与使用大量标记样本得到的SVM分类器识别率相当的水平。

主权项

一种基于模糊训练样本的半监督学习人脸表情识别方法，其特征在于，该方法包括以下步骤：(1)人脸数据库数据预处理，具体包括以下子步骤：(1.1)人脸图像按表情类别预分类：使用卡耐基梅隆大学CK+人脸表情数据库，选取有标记的表情图像，按照6类表情名称(高兴、惊讶、悲伤、生气、厌恶、恐惧)对应放在6个文件夹下；(1.2)图像数据分为训练集和测试集：具体方法为每次从6类表情中分别选出i张，共计6i个样本作为有标记训练集，每类中选取j张，共计6j个样本作为无标记训练集，其余样本作为测试集；(1.3)读取训练集和测试集中的图像数据进行人脸检测，提取人脸后计算LBP特征：LBP定义在3×3像素邻域内，以邻域中心像素值为阈值，将相邻8个像素的灰度值与其进行比较，若大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数，即得到该邻域中心像素点的LBP值，并用这个值来反映该区域的纹理信息。邻域中心点LBP特征值计算方法：(1.4)对三个样本集的LBP特征进行直方图统计：图像提取LBP特征之后，可以得到一系列0～255之间的值，通过对其进行直方统计，可以得到相应的LBP特征向量，每个样本的特征向量为1×256维；(2)使用改进的SVM算法进行人脸表情识别，具体包括以下子步骤：(2.1)表情数据二分类：将6种表情分成两类，每次选取其中一种表情作为一类，其余五种作为另一类：“其他表情”。共进行6次二分类。对每一类表情重复以下步骤；(2.2)对有标记的训练集和测试集进行标注，标签为+1或‑1，将无标记的训练集样本标签全部标注为0。(2.3)输入有标记训练集，计算并输出有标记训练集的SVM模型：(2.3.1)规范化训练样本，消除奇异样本数据对结果的影响：对有标记训练集256维LBP特征中的特征值进行缩放，缩放目标区间为[‑1,1]，方法为得到每维数据的最大值max和最小值min，对于[min,max]中的任意值value，缩放的计算公式为保存缩放结果和记录了每维数据最大值和最小值的规范化参数Range；(2.3.2)构造SVM一阶软间隔分类器：g(x)＝w^Tx+b＝0其中，x是输入训练样本的向量表示，g(x)是以w为法向量以b为平移项的分类超平面。为了减少离群点对整个分类器的影响，引入松弛变量ξ和惩罚因子C，把损失加入到目标函数里，使间隔最大化，优化问题：$Min:\frac{1}{2}\left|\right|w|{|}^2+C·\underset{i=1}{\overset{n}{\Sigma }}{\xi }_i$限制条件为y_i·(w^T·x_i+b)≥1‑ξ_i,i＝1,2,3,...,n，其中y_i∈{‑1,+1}是样本标签。通过拉格朗日对偶变换后，上式转化为一个凸二次规划问题求解：$Max:W\left(\alpha \right)=\underset{i=1}{\overset{n}{\Sigma }}{\alpha }_i-\frac{1}{2}\underset{i=1,j=1}{\overset{n}{\Sigma }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$限制条件为0≤α_i≤C,i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；(2.3.3)选用RBF核函数：核函数的本质是定义了高维空间中两个向量的内积。通过RBF核函数将有标记训练集的数据映射到高维空间，使数据能够在高维空间进行线性分类。RBF核函数定义如下：其中x_i,x_j是两个低维空间里的向量，在本发明中指某张表情图像的LBP特征向量，γ是核参数，步骤(2.3.2)中的凸二次优化问题变为：限制条件为0≤α_i≤C,i＝1,2,3,...,n,j＝1,2,3,...,n，其中α为拉格朗日乘子；(2.3.4)交叉验证寻找最优参数：对归一化的有标记训练数据的LBP直方图统计集，取不同的松弛变量C和参数γ进行训练，交叉验证得到识别率，取识别率最高时对应的C和γ，训练得到SVM模型。(2.4)根据有标记训练集规范化参数Range对测试集LBP特征值进行缩放，通过有标记训练集输出的SVM模型对规范化的无标记训练集进行分类预测；(2.5)通过核函数和超平面参数计算无标记训练集中每一个样本到SVM模型中超平面的距离，得到距离集。对距离集中的数据取绝对值，并降序排序；(2.7)引入自训练样本置信度的分割参数Partition，取值范围：0～1。根据Partition参数将距离集分成两部分，取置信度高也即距离数值大的第一部分距离集，并将与之对应的无标记训练集中的样本及其预测标签取出，加入到有标记训练集中；(2.8)输入更新的有标记训练集和无测试集的LBP特征，进行步骤(2.3)重新计算SVM模型，输出自训练SVM模型(STSVM)；(2.9)对测试集进行预测，并将预测结果与测试集中的样本标签进行比较，通过混淆矩阵对识别率进行分析。(2.10)对i，j，Partition参数分别选取不同的值进行循环计算，得到识别正确率最高时对应的STSVM模型和更新后有标记训练集的Range参数，并保存6个二分类STSVM模型的识别率作为分类置信度；(3)对未知表情图像进行识别，具体包括以下子步骤：(3.1)未知表情图像的获取和预处理：相机或摄像头拍摄的人脸图片转为8位灰度图，提取人脸，计算LBP特征，生成1×256维特征向量。根据STSVM模型中更新的有标记训练集的Range参数对未知表情图像的LBP特征进行规范化处理；(3.2)将缩放结果输入6个二分类STSVM模型中，如果6个结果中，有一个被分类到某一表情A下，其余5个结果是“其他表情”，则返回表情A；如果6个结果均被分为“其他表情”或有超过一个结果被分类到某一表情下，则通过核函数和超平面参数计算未知表情样本到6个二分类STSVM模型中超平面的距离，得到6个距离作为分类结果置信度，选择最大距离对应的分类结果返回。