多模态驾驶员疲劳检测方法及其专用设备

摘要

本发明提供一种多模态驾驶员疲劳检测方法及其专用设备，包括双通道视觉检测装置，多点压力检测装置以及生理信号实时检测装置，分别检测头部运动轨迹、人眼和嘴部形态、多点压力变化曲线以及脉搏流，从而对信息进行多模态融合，形成一套多特征疲劳评价方案，在不干扰驾驶员正常工作的情况下，利用多个疲劳特征，增加疲劳检测的准确性。该系统设计中以实用性、可操作性、人性化设计为主，确保系统的稳定性和安全可靠。该发明方法合理、装置简洁、检测准确、可操作性强，利于推广应用。

主权项

1.多模态驾驶员疲劳检测方法，其特征在于：所述方法的具体步骤如下：第一步：双通道图像采集；⑴、通道一为广角摄像头，该摄像头位置和方向固定，广角摄像头采集驾驶室内完整图像，建立空间三维坐标系，在采集到的图像中结合背景先验知识，进行人脸检测，判断驾驶员头部在空间中的三维坐标信息；⑵、通道二为高分辨率摄像头，其位置和角度可以三维移动，根据通道1获得的头部坐标信息传递给通道二，由此定位通道二摄像头的拍摄角度，获取驾驶员脸部图像；第二步：头部位置三维坐标及运动轨迹确定⑴、通过通道一中位置和方向固定的广角摄像头提供的图像，根据先验知识和人脸颜色信息定位图像中的人脸部分，确定人脸在三维空间中的坐标信息；⑵、再通过通道一中位置和方向固定的广角摄像头提取序列图像中的人脸部分及其坐标信息，获取序列坐标在三维空间中的轨迹；根据头部的运动轨迹确定是否为疲劳状态；第三步：眼睛闭合状态检测结合模板匹配和积分投影法，在三维移动的高分辨率摄像头采集的图像上确定人眼位置；然后在人眼位置判断眼睛张开程度，如果小于一定暴露面积，则判断为闭合；根据人眼的闭合程度判断是否疲劳；第四步：嘴部张开状态检测⑴、根据三维移动的高分辨率摄像头采集的人眼的位置，估计嘴部位置，在该位置附近寻找嘴部边缘特征点；⑵、分析嘴部特征点的分布，如果上下特征点分离太远，则判断为张大嘴巴动作；根据嘴巴动作判断是否疲劳；第五步：多点压力检测及疲劳状态检测⑴、分别在驾驶员的座椅四角和靠背两角放置压力传感器，实时读取这六点的压力值；⑵、将获取的压力值进行滤波操作，除去车辆行进中振动引起的压力波动；在压力曲线上寻找奇异值，判断是否为疲劳状态；第六步：无线脉搏实时检测装置通过脉搏传感器采集脉搏信号与驾驶员正常脉搏频率比较，判断是否为疲劳状态。