头面部动作检测方法及应用该方法操控计算机的助残系统

摘要

本发明公开了一种头面部检测方法及应用该方法操控计算机的助残系统，所述方法通过采集正例图片，反例图片，并对正例图片和反例图片应用Adaboost算法进行训练得到存有头面部特征的分类器，本发明在Adaboost算法的基础上，采取多线程的方法，先对人的头面部动作进行检测，然后根据头部所做出的不同的动作，在不同的功能选择下做出相应的操作，从而实现了用头面部动作控制计算机。本发明实现了控制鼠标键盘、辅助阅览、颈部操游戏、控制赛车游戏等一系列重要而实用的功能，能够应用于家庭自动控制系统中，使残疾人只用头部就能控制电视、空调等所有家庭设施。

主权项

头面部动作检测方法，其特征在于所述的方法通过如下步骤实现：步骤1：采集各种头面部动作的图片，包括正例图片和反例图片；步骤2：采用adaboost算法对正例图片和反例图片进行训练，归纳正例图片中的共同haar特征，并排除反例图片中所存有的haar特征，得到存有头面部动作特征的分类器；分类器中用文本记录了所训练的头面部动作的图片中所含有的haar特征和每个haar特征在头面部动作的图片中的坐标位置；步骤3：采用多线程方法获取图像并对图像进行预处理和头面部动作检测；应用多线程方法创建两个线程，即线程A和线程B，对图像进行预处理和头面部动作检测具体过程如下：(1)线程B通过摄像头实时捕获图像，并把这个图像交给线程A处理；(2)当线程A获得一帧图像后，对该帧图像依次进行颜色空间转换、图像积分、边缘检测处理，得到预处理后的图像；(3)以不同大小的窗口在图像中移动搜索目标，用窗口所选中的图片特征与分类器中的特征相比较，由此判断出图像中是否存在希望出现的头面部动作，如果是就记录下头面部动作在图像中的位置坐标与头面部动作的大小信息，如果不是就继续移动搜索下一目标；(4)重复步骤(1)～(3)，线程A继续处理送来的下一帧图像；步骤4：根据上面步骤3得到的头面部动作的大小与坐标位置信息，连续考察n帧头面部动作的信息，求出他们的平均位置与大小，以及检测率，其中n为整数，n取值为200～300；如果当前头面部动作的位置和大小与平均位置和大小相比较，二者的差值超过差值阈值，则计算机会出现错误信息提示，此时不进行操作；如果小于或等于差值阈值，则继续判断检测率；所述的差值阈值取为20～30像素；如果检测率小于检测率阈值，则无法使用目前的头面部信息来实现操作；如果检测率大于检测率阈值，则根据识别出的具体的头面部动作信息对计算机进行操控；所述的检测率阈值取0.6～0.7；所述的头面部动作包括15种相互独立的头面部动作，分别为：抬头、低头、右偏头、左偏头、左移头、右移头、右转头、左转头、闭右眼、闭双眼、闭左眼、靠近、张嘴、闭嘴、远离；步骤5：通过对所得到的具体的头面部动作信息数据进行分析，从而精确分辨出各个头面部动作：(1)比较最近的10帧图像眼睛的检测率与眼睛的检测率阈值的大小，检测率小于眼睛的检测率阈值被判断为闭眼动作，大于眼睛的检测率阈值被判断为睁眼；(2)两种方法判断张嘴动作：a)嘴的检测率小于嘴的检测率阈值判断为张嘴，b)连续3帧图像在嘴的区域没有检测到嘴判断为张嘴；(3)嘴部坐标与脸部坐标的差值大于左偏头的检测率阈值判断为左偏头，小于右偏头的检测率阈值判断为右偏头；(4)连续识别m帧右侧面脸判断为左转头，连续识别m帧左侧面脸判断为右转头；(5)把步骤4所求的头部坐标平均值作为中心位置，当前头部坐标偏离中心位置的垂直位移小于俯头的检测率阈值判断为俯头，大于仰头的检测率阈值判断为仰头；(6)把步骤4所求的头部坐标平均值作为中心位置，当前头部坐标偏离中心位置的水平位移大于左移的检测率阈值判断为左移头，小于右移的检测率阈值判断为右移头；(7)当前脸部的大小与平均脸部的大小之差大于靠近的检测率阈值识别为靠近，小于远离的检测率阈值识别为远离；其中，眼睛的检测率阈值为0.2～0.3，嘴的检测率阈值为0.5～0.8，左偏头的检测率阈值为4～6像素，右偏头的检测率阈值为‑6～‑4像素，m为正整数，取为5～7，俯头的检测率阈值为‑5～‑3像素，仰头的检测率阈值为3～5像素，左移的检测率阈值为4～8像素，右移的检测率阈值为‑8～‑4像素，靠近的检测率阈值为10～20像素，远离的检测率阈值为‑20～‑10像素。