基于单目视觉的驾驶员疲劳检测方法

摘要

本发明公开了一种基于单目视觉的驾驶员疲劳检测方法。该方法通过人脸检测与跟踪、人眼检测与定位以及眼睛状态识别对驾驶员工作状态进行监督以达到提醒驾驶员安全驾驶的目的。具体为：在驾驶室仪表盘上方安装一个面向驾驶员脸部的摄像机，摄像机镜头周围配有红外LED照明光源；利用摄像机采集驾驶员脸部图像，对采集得到的每帧图像进行人脸检测与跟踪，在检测得到的人脸区域中进行人眼检测与定位，并利用左右眼睛区域进行人眼睁闭状态识别，最后通过连续帧的检测状态进行疲劳检测。本发明可以准确地对驾驶员疲劳进行提示，具有对驾驶员无干扰、高实时性、高鲁棒性的优点，且硬件成本低，易于推广。

主权项

一种基于单目视觉的驾驶员疲劳检测方法，其特征在于步骤为：步骤1：对每帧图像进行人脸检测，如果检测到人脸，就记录下当前人脸区域，如果检测不到人脸，就使用最新记录的人脸区域初始化人脸跟踪器，并用它进行人脸跟踪，若当前帧没有检测到人脸，并且最近N帧内也没有检测到人脸的记录，则执行步骤4；步骤2：在人脸区域中利用形态学滤波方法检测暗区域并结合几何位置信息寻找瞳孔区域，实现双眼的检测与定位；若检测不到可靠的双眼，执行步骤4；在步骤2中，即在检测与定位眼睛对中采用的步骤如下：步骤21：对人脸区域图像f使用尺寸为5×5的方形结构元素进行灰度形态学闭运算，得到滤波图像f′；步骤22：将滤波图像f′与原图像f相减得到突出脸部所有暗区域的差图像fsub，原图像中越暗的区域在差图像中越亮；步骤23：基于差图像直方图选取阈值Tf对差图像fsub采用进行分割；步骤24：干扰去除，在分割后的图像中，除眼部暗区域外，人脸部分轮廓，眉毛、鼻、嘴也被分割出来，剔除这些干扰的方法是：通过连通域分析进一步去除长宽比不合适的区域，以及离图像底边过近的区域，因为人眼不可能出现在这一区域；步骤25：对于剩下的每一个候选区域，计算各自的区域中心，利用眼睛对的几何关系从这些候选区域中心中挑选出满足以下条件的眼睛中心对：(1)两中心对之间的距离必须在人脸宽度的0.25～0.6倍范围内；(2)两中心对之间的连线与水平方向的夹角不超过25度；最后只剩下眉毛和眼睛区域，根据眼睛在眉毛之下的约束，选择两眼区域中心的纵坐标之和最大的一对作为眼睛区域；步骤3：从眼睛区域中提取瞳孔面积比率特征、最大行平均水平垂直梯度比率特征、人眼区域均方差特征和肤色像素比率特征区分眼睛的睁闭状态，实现人眼状态识别；步骤4：进行连续状态判断以获得驾驶员疲劳状态检测结果，若当前帧没有检测到人脸，并且在最近N帧内也没有检测到人脸的记录，则本帧判为异常，否则判为正常；若检测到了人脸，但检测不到可靠的双眼，则本帧判为异常，否则判为正常；若检测到人脸，并且也检测到了可靠的双眼，如果双眼是闭合状态，则本帧判为异常，否则判为正常；如果连续T1帧出现异常，或1秒内两异常状态之间的平均间隔小于阈值T2，则认为驾驶员有疲劳倾向。