基于多元信息融合的驾驶员疲劳监测方法

摘要

本发明公开了一种基于多元信息融合的驾驶员疲劳监测装置及其监测方法，所述装置包括数字信号处理器，带有滤光片的摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感器模块分别与数字信号处理器连接；所监测方法包括、视线跟踪、驾驶行为监测、疲劳特征判决四个过程，疲劳特征判融合眼睛特征识别、视线跟踪、驾驶行为监测的疲劳判断结果，准确判断驾驶员的疲劳状态。本发明利用信息融合技术，，使疲劳驾驶检测技术得到更进一步的发展和提高，能客观、实时、快速准确地判断出驾驶员的疲劳状态，避免疲劳驾驶所引起的交通事故。

主权项

基于多元信息融合的驾驶员疲劳监测装置的监测方法，其特征在于由眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程和疲劳特征判决四个部分组成，所述眼睛特征识别过程包括：摄像头采集到头部图像数据并通过SVHS接口传送到数字信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干扰的冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方法检测和定位之前得到人脸区域内的人眼区域图像；对采集到的人眼区域图像进行2D‑DCT变换得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态，如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则为闭眼状态；检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总数，并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳程度，如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态；所述视线跟踪过程包括：安装在汽车的挡风玻璃的矩形红外LED光源模块发出红外线，红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成亮斑点，称为普尔钦斑点；数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后的人脸图像，通过所述眼睛特征识别过程中的人脸人眼定位处理得到人眼区域，采用水平和垂直灰度投影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑点进行灰度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向；通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时间比例，若视线停留时间比例超过设定值，则判断驾驶员为长时间注视某个方向或者是视线没有注视道路前方，并认定为疲劳状态；所述驾驶行为监测过程包括：通过安装在方向盘上的角度传感器和压力传感器，监测方向盘的转动情况和驾驶员是否有抓紧方向盘，记录设定长时间段内的角度传感器和压力传感器的数据变化情况，如果传感器RS232接口输出到数字信号处理器的数据在设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作方向盘；通过安装在脚踏板上的压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据变化情况，如果传感器通过RS232接口输出到数字信号处理器的数据设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作脚踏板；所述疲劳特征判决包括：测量所述眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建立疲劳特征判决架构，使用现有的贝叶斯推理扩充的D‑S证据推理方法，利用Dempster组合规则融合眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构并利用各个过程的疲劳测量信息来判断对驾驶员是否处于疲劳驾驶状态，如果驾驶员处于疲劳驾驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。