一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法

摘要

本发明涉及一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法。本发明采用人脸对齐技术，根据在疲劳监测的实际应用中遇到的实际问题，改进已有的人脸对齐方法，用于人眼准确定位，同时给出人脸的姿态信息。该方法能够在复杂光照环境及人员不同姿态下给出稳定的人眼位置，在人员侧脸时仍能给出准确的人眼位置。在疲劳监测应用中，根据给出的人眼区域初步判别人眼的闭合状态序列，并结合人脸姿态判断人员的疲劳状态，进一步提高疲劳监测产品的稳定性和适用性。本发明不仅能准确判别正脸图像中的眼睛闭合状态，而且能够识别侧脸图像中的闭合状态，且该方法结合了人脸姿态信息判别疲劳状态，进一步提高了鲁棒性，符合复杂场景的人员疲劳监测要求。

主权项

一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法，其特征在于该方法具体包括以下步骤：步骤1：采集大量人脸样本，并在人脸中标记特征点形成参考形状步骤2：设定初始形状，利用人脸检测器在人脸图像中确定人脸的位置和尺寸，根据该尺寸对人脸图像进行尺度归一化，缩放后图像中人脸具有近似大小，图像用I表示，在归一化后的人脸上放置标准形状S0，然后根据可能遇到的人脸旋转、人脸检测器的平移和尺度误差对初始位置进行扰动，得到新的样本，从而形成训练样本集；步骤3：收集特征，在图像I中S0表示的点集上计算LBP特征描述矩阵T；步骤4：学习形状回归模型，形状回归模型是一个迭代模型，首先计算当前迭代步骤的线性模型：$H=(\hat{S}-S0){(T^{\prime }T+\mathrm{\lambda A})}^{-1}{T}^{\prime }$此处，A表示单位矩阵，λ>0；然后根据上面得到的线性模型H更新初始形状S0：S0←S0+HT更新完初始形状S0之后，根据新的S0利用仿射变换对图像进行旋转和尺度矫正，得到新的样本集，在新的样本集上重新计算LBP特征描述矩阵T，根据上面的线性模型和形状更新重新计算线性模型H并更新S0，不断重复直至形状回归误差其中e是很小的正数，通过上述迭代过程可以得到线性回归序列{H_i}_{i＝1,2,…,J}；步骤5：在训练集上标记并采集人眼图像块，利用SVM算法学习人眼闭合模型；步骤6：人脸形状是个迭代更新过程，先用人脸检测器确定图形中人脸的位置和尺寸，进行人脸归一化缩放人脸图像使得人脸尺寸具有跟学习形状模型时相同的人脸大小，设定初始形状S0，计算归一化图像I中S0位置处的图像LBP特征描述矩阵T，更新人脸形状S0：S0←S0+H₁T与训练过程相同，根据新的S0利用仿射变换对图像I进行旋转和尺度矫正得到，重新计算S0处LBP特征描述矩阵T，利用下一个线性模型H₂用相同的方式更新S0，不断迭代，直至完成J次迭代过程；步骤7：在疲劳监测时，先根据形状回归模型预测输入图像中的人脸形状，然后根据人脸形状得到人眼区域图像，用人眼闭合模型判别人眼闭合状态，根据人脸形状利用现有3D模型得到人脸姿态信息，利用一段时间周期内连续的人眼闭合状态和人脸姿态信息判别人员疲劳状态。