视线跟踪方法及应用该方法的残疾人辅助系统

摘要

本发明公开了一种视线跟踪方法及应用该方法的残疾人辅助系统，所述方法包括图像预处理、利用Harr特征定位人眼区域、眨眼识别、瞳孔中LED反射亮点的检测和判断、瞳孔中心的精确定位、视线方向的计算等步骤。所述系统包括嵌入式平台、摄像头、显示屏、安装显示屏上四个角且排列成矩形的四个LED和轮椅行驶控制模块，该系统为一嵌入式系统，通过摄像头和处理器进行眨眼检测、眼睛角膜上红外光源反射亮点检测、瞳孔中心精确定位以及视线方向判别，跟踪人眼视线，通过判断人眼注视屏幕上的视线方向，同时进行人眼状态识别，实现轮椅控制和音乐播放控制、文本阅读和网页滚动的功能。本发明使用方便，准确度高，可为残疾人生活带来极大便利。

主权项

一种视线跟踪方法，该方法在人脸正前方构造红外光源，红外光源经人眼角膜反射后会在其表面上形成亮点图像，称为普尔钦斑点，其特征在于该方法还包括如下步骤：(1)检测普尔钦斑点：采集经红外光源照射后的人脸图像，利用普尔钦斑点的几何特征检测普尔钦斑点的位置，所述红外光源个数为四个，且位于同一矩形的四个角上，所述普尔钦斑点表现为四个反射亮点；所述四个普尔钦斑点通过如下步骤确定：首先利用投影法定位出瞳孔中心位置，在瞳孔中心周围距离瞳孔中心小于30个像素范围内搜索满足普尔钦斑点几何特征的像素点集；再用Laplace算子对它们进行卷积，用Laplace卷积得到的值越大，说明该处灰度的突变越大，Laplace算子卷积运算后具有最大值的四个像素，即为四个普尔钦斑点；所述几何特征包括：(1.1)位置位于瞳孔周围，与瞳孔中心距离小于30像素；(1.2)大小为5～20个像素，灰度值在100以上，表现为突出的亮点；(1.3)眼部区域中，四个普尔钦斑点处灰度值突变最大；(1.4)四个普尔钦斑点之间的距离在8～18像素范围内，且成矩形关系 ;(2)先采用水平和垂直灰度投影初步定位瞳孔中心，对普尔钦斑点进行灰度值修正，平滑处理之后，再次利用水平和垂直灰度投影法定位可得到精确的瞳孔中心位置；所述普尔钦斑点灰度值修正的方法为以其中一个普尔钦斑点P0为中心，首先对与P0相邻的8个像素A1～A8中的每个像素的灰度值进行修正，即以被修正像素为中心，取其周围相邻8个像素，寻找包括被修正的像素在内这9个像素中的灰度最小值，将其替代被修正像素的灰度值；然后再对P0的灰度值进行修正，即取P0，A1～A8这9个像素中的灰度最小值，将其替代P0的灰度值，另外三个普尔钦斑点的灰度修正方法和P0相同；(3)计算视线方向：通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向；所述几何计算为：设P0、P1、P2、P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0～P3的对角线交点O的坐标，连结OQ，OP0，OP1，OP2，OP3，OP0～OP3把由点P0～P3连接成的矩形分割为四个区域，计算OQ处于哪个区域，便可判别出相应的视线方向；(4)利用眨眼来确认视线方向：识别人眼状态，通过前后帧人眼区域黑色像素个数关系，确认 眨眼动作。