基于双光谱融合的疲劳驾驶识别系统

摘要

本发明公开了一种基于双光谱融合的疲劳驾驶识别系统，包括双光谱图像采集装置、图像融合装置和疲劳辨识装置，其特征在于所述双光谱图像采集装置包括光源、半反半透镜、黑白图像传感器模块和彩色图像传感器模块，其中光源、半反半透镜和彩色图像传感器模块组成彩色图像成像系统，而光源、半反半透镜和黑白图像传感器模块组成黑白图像成像系统；所述图像融合装置分别与黑白图像传感器模块和彩色图像传感器模块连接，获取黑白图像传感器模块采集的黑白图像和彩色图像传感器模块采集的彩色图像，将彩色图像和黑白图像融合成进行辨识的驾驶员图像；所述疲劳辨识装置用于对融合后的驾驶员图像进行图像分析，通过特征点定位，确定驾驶员的眼睛区域，进行疲劳状态判断，并根据判断的结果进行提示或者预警。该系统通过对高质量人脸图像中眼睛的定位，极大的提高疲劳驾驶判断的有效性和准确性。

主权项

一种基于双光谱融合的疲劳驾驶识别系统，包括双光谱图像采集装置、图像融合装置和疲劳辨识装置，其特征在于所述双光谱图像采集装置包括光源、半反半透镜、黑白图像传感器模块和彩色图像传感器模块，其中光源、半反半透镜和彩色图像传感器模块组成彩色图像成像系统，而光源、半反半透镜和黑白图像传感器模块组成黑白图像成像系统；所述图像融合装置分别与黑白图像传感器模块和彩色图像传感器模块连接，获取黑白图像传感器模块采集的黑白图像和彩色图像传感器模块采集的彩色图像，将彩色图像和黑白图像融合成进行辨识的驾驶员图像；所述疲劳辨识装置用于对融合后的驾驶员图像进行图像分析，通过特征点定位，确定驾驶员的眼睛区域，进行疲劳状态判断，并根据判断的结果进行提示或者预警；使用主动形状模型确定眼睛区域，所述主动形状模型包括训练和搜索两个部分：其中，ASM的训练由以下步骤组成：(1)搜集n张含有人脸面部区域的样本图片；(2)对于每个样本图片，手动标定每个训练样本中的k个关键特征点，这样就组成了一个形状向量a_i，如此一来，n个训练样本图片就构成了n个形状向量，其中，a_i表示如下：$a_i=(x_1^i,y_1^i,x_2^i,y_2^i,...,x_k^i,y_k^i),i=1,2,...,n$其中，表示第i个训练样本上第j个特征点的坐标；(3)采用Procrustes方法进行归一化或对齐操作；(4)将对齐后的形状向量进行PCA处理：计算平均形状向量：计算协方差矩阵Φ：然后求协方差矩阵Φ的特征值并将其按从大到小依次排序；(5)计算第j个训练图像上的第i个特征点的n个局部纹理g_i1,g_i2,...,g_in，求其均值以及方差S_i，就得到该特征点构建局部特征：$\overline{g_i}=\frac{1}{n}\underset{j=1}{\overset{n}{\Sigma }}{g}_{ij}$$S_i=\frac{1}{n}\underset{j=1}{\overset{n}{\Sigma }}{(g_{ij}-\overline{g_i})}^T·(g_{ij}-\overline{g_i})$在每次迭代过程中，一个特征点的新的特征g与其训练好的局部特征之间的相似性度量用马氏距离来表示：$f_{sim}=(g-\overline{g_i}){S_i}^{-1}·{(g-\overline{g_i})}^T$对样本集进行训练得到ASM模型后进行ASM搜索，对平均形状以其中心逆时针旋转θ缩放s，然后再平移X_c得到初始模型X＝M(s,θ)[a_i]+X_c，通过调整放射变换和参数，用该初始模型在新图像中显示目标形状，计算每个特征点的新位置，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近；得到人脸图像的双眼位置后，对眼部特征进行分析并建立眼睛睁闭状态判别模型，通过Hough变换来确定眼睛是否闭合，具体包括以下步骤：1)利用圆的Hough变换检测眼球的中心位置和半径：首先进行边缘检测，再利用边缘检测结果得到快速Hough变换的累加器数组，然后对累加器数组进行累加，遍历完所有的边界点后获取累加器数组的最大值，其坐标即为眼球中心位置b和半径r，记为(a,b,r)；2)使用抛物线的快速Hough变换获取上眼睑参数(a0,x,y)，辅助表征眼睛状态开合度；3)基于以上获取的眼球和上眼睑的参数，根据以下的眼睛状态开合度评价标准：a)a0<0时处于闭眼状态；b)a0>0时眼睛为睁开状态，并取上眼睑的顶点与眼球中心位置的纵坐标之差作为眼睛开合度的评价标准，此时闭合度用下式来衡量：$ClosureRate=\frac{(b-y)}{r}+0.5;$对于一定时间段内的图像及数据，根据眼睛开合度评价标准描述眼睛完全睁开到闭合的过程；测量出t1到t4的值计算出PERCLOS的值f：f＝(t3‑t2)/(t4‑t1)；t1为眼睛完全睁开到闭合20％的时间；t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间；其中，f为眼睛闭合时间所占某一特定时间的百分率，当PERCLOS值f>0.15时，判断驾驶员处于疲劳状态。