基于眼部和嘴部状态的疲劳驾驶检测方法

摘要

基于眼部和嘴部状态的疲劳驾驶检测方法属图像处理和模式识别技术领域，本发明包括下列步骤：驾驶员视频图像采集，光照补偿预处理，人脸区域检测，综合疲劳判断，发出疲劳警报；其中人脸区域检测包括眼部检测和嘴部检测；眼部检测包括用投影法获取眼部区域，作眼部特征分析，与标准特征比较，进行k值计算和眼部疲劳的判断；嘴部检测包括用mouth-map法获取嘴部区域，作嘴部特征分析，与标准特征比较，进行p值计算和打哈欠的判断；本发明结合眼部和嘴部两个特征参数进行判断，与单一参数相比对疲劳判断的准确率和可靠性更高，本发明的实施可大幅降低由于驾驶员疲劳驾驶而引发的交通事故，为保证驾驶员的生命财产安全，提供了一种新的防范措施。

主权项

一种基于眼部和嘴部状态的疲劳驾驶检测方法，其特征在于包括下列步骤：1.1采集驾驶员视频流，将视频流转换为帧图像；1.2进行图像的光照补偿预处理：用“参考白”算法首先检测图像中像素点的亮度，得到亮度值在前5％的像素，设置亮度值在前5％的像素点的灰度值均为255，然后依比例对图像的RGB三个分量进行线性调整，得到光照补偿后的图像；1.3检测人脸区域：对步骤1.2得到的光照补偿后的图像，基于肤色特征区分肤色点和非肤色点，得到肤色区域的二值图像，并对二值图像进行连通性分析的数学形态学处理；用投影法提取人脸区域；1.4设定眼部和嘴部特征初始标准值：假设驾驶员在进入驾驶室时处于清醒状态，对此刻获得的图像进行处理，将所得到的眼部状态和嘴部状态的初始值作为标准值并保存；1.5进行眼部区域的提取及特征分析：对步骤1.3得到的人脸区域二值图像进行水平和垂直投影，分割出包括眉毛在内的眼部区域，然后用此眼部区域特征进行状态分析，具体包括下列步骤：1.5.1对步骤1.5得到的包括眉毛在内的眼部区域进行灰度处理，得到眼部区域的灰度图像，对此灰度图像像素点的x坐标求均值，得到图像像素点的水平平均强度，在均值图像上会出现两个明显的波谷，根据两个波谷之间距离差d的不同，来判断眼睛是睁开还是闭合，将初始图像处理得到的两个波谷之间的距离差d₀作为参考标准，若d‑d₀大于所设定的阈值，则将眼睛判为闭合状态，否则为正常状态；1.5.2眼睛疲劳判断：用k记录眼睛连续闭合的图像帧数，每检测到眼睛闭合时k加1，在k小于阈值的情况下，若检测到眼睛睁开，则将k初始化为0；在k大于阈值的情况下，说明此时不是眨眼，是眼睛疲劳，其中：k是整数型变量，用k来计数，k的初始值为0；1.6进行嘴部区域的提取及特征分析：对步骤1.3得到的人脸区域取下半部分，用下列数学表达式提取嘴部区域，然后用此嘴部区域特征进行状态分析，具体包括下列步骤：$\mathrm{mouth}\_\mathrm{map}={\left(C_r\right)}^2\times {({\left(C_r\right)}^2-\frac{\eta \times C_r}{C_b})}^2;$其中：C_r是红色色度分量，C_b是蓝色色度分量，n是人脸区域图像像素点个数，η是C_r(x,y)²的平均值与的平均值的估测比值；1.6.1用嘴部区域的二值图像，计算嘴部区域的面积s；以初始图像得到的嘴部区域面积s₀作为参考标准值，计算嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值若比值大于所设定的阈值，则判断为嘴巴张开，否则判为正常；其中：嘴部区域面积s与初始图像得到的嘴部区域面积s₀的比值可以用像素点数目的比值来代替，n₀为初始嘴部区域像素点个数，n为当前帧图像的嘴部区域像素点个数；1.6.2打哈欠判断：用p值记录嘴巴连续张开的图像帧数，每检测到嘴巴张开时p加1；在p小于阈值的情况下，若检测到嘴巴正常，则将p初始化为0；在p大于阈值的情况下，说明此时是在打哈欠，驾驶员处于疲劳状态，其中：p是整数型变量，用p来计数，p的初始值为0；1.7综合疲劳判断：根据步骤1.5.2和步骤1.6.2，当检测到眼睛疲劳，或打哈欠，或两者同时发生时，给出疲劳警报，使驾驶员停车休息或更换驾驶员。