基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统

摘要

本发明公开了一种基于图像处理融合心率特征与表情特征疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警。该系统通过图像处理的方法将心率特征和表情特征结合起来，实现疲劳驾驶判别的算法及车载装置，提高了疲劳驾驶判别系统的精确度、鲁棒性和可靠性。

主权项

一种基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统，包括信息采集装置、信息处理装置和预警装置，其特征在于所述信息采集装置用于采集驾驶人面部图像序列，并提供给信息处理装置；所述信息处理装置用于对采集到的驾驶人面部图像序列进行处理分析，得到驾驶员的表情特征信息及心率特征信息，根据采集到的驾驶员面部图像序列得到驾驶员在任一段时间内的心率变异特征信息，所述心率变异特征为逐次心跳周期差异的变化情况，分析其信号线性指标中频谱低频与高频的比值p以及非线性指标中RR间期C₀复杂度，并将表情特征和心率特征进行信息融合，用以判别驾驶员是否处于疲劳状态；预警装置，用于当驾驶员出现疲劳驾驶时，根据预警策略和疲劳等级向预警提示器发送指令，向驾驶员提示预警；所述信息处理装置包括面部姿态估计模块，检测到驾驶员人脸图像后，估计人脸面部姿态角度；眼睛睁闭状态检测模块，在检测到的驾驶员人脸图像上检测人眼图像，得到眼睛睁闭状态信息；嘴部形状判别模块，在检测到的人脸图像上检测驾驶员嘴部图像，得到嘴部姿态信息；所述面部姿态估计模块的面部姿态估计方法包括以下步骤：在采集到的图片序列中，使用训练好的人脸分类器，检测人脸图像的大小和位置，获取驾驶员人脸图像；检测到人脸图像后，提取人脸特征，将其投影至建立好的姿态子空间上，使用面部姿态估计分类器，得到面部姿态角θ；当面部姿态特征表征值表明驾驶员面部姿态角θ在±30°范围内时，判定为非疲劳状态，面部姿态特征疲劳驾驶判定参数F为0；当面部姿态角θ偏转角度过大，但时间t<0.5s时，仍判定为非疲劳状态，F为0；当面部姿态角θ偏转角度过大，且时间t≧0.5s时，则判定为疲劳状态，F为1，如下式: