识别人眼注视与否的方法和装置及其应用

摘要

本发明涉及机器视觉与自动控制技术，特别是识别人眼注视与否的装置和方法及其在智能控制中的应用。本发明包括由摄像头、图像接口和处理器所构成的硬件设备，定时循环图像采集与人眼注视与否识别，以及将人眼注视用作控制指令或辅助信息的非接触智能控制技术。本发明可以用于家用电器、游戏机、医护仪器、智能机器人以及某些特需者的非接触控制装置，应用注视方法开启和关闭空调等简单电器，“唤醒”处于待命状态的机器人或计算机，对驾驶员视线偏离的安全提醒，也可在基于语音或手势的非接触智能控制技术中加入本技术，用于判别其语音或手势信号是否是用户发出的有意控制指令等，从而使机器对人的非接触控制的响应更加主动、友好和可靠。

主权项

1、一种识别人眼注视与否的方法，其特征在于它包括下述步骤：(1)运动和场景中是否有人的判定：用时间差分法作运动识别：首先选取固定的背景图像，每隔一定时间采集一幅新图像和背景图像相减，由差值图像判定是否有运动物体在场景中出现，有运动物体进入场景，即分割出运动物体图像，开始进一步处理，采用前馈型神经网络对提取出的运动图像进行肤色检测，当发现有与人肤色相同的物体并满足一定的尺寸大小条件时，就认为有人进入场景，开始下一步处理；否则，从重新开始作下一轮运动检测；所述的神经网络结构为4-3-1，其中输入层的4个节点中的3个分别是象点的红、绿、兰分量，第4个节点为偏置输入；隐含层取3个神经元是经过反复试验而确定的；输出层的神经元当输入为肤色时输出+1，非肤色输入时则输出-1；此神经网络采用BP学习算法进行训练，训练样本取自不同人的肤色在日光灯、白炽灯、太阳顺光和逆光四种情况下的实测肤色和非肤色彩色信号；(2)人脸定位和分割：在检测出来的具有与人肤色相同的运动图像中，用山峰算法设计的步骤进行肤色图像的填充和分割，并运用人脸的几何特征从其中分别出人脸图像；(3)双眼定位与鼻子定位：对分割出的人脸图像采用分区阈值进行二值化；由于人眼及鼻子处的黑色象素较多，利用逐行与逐列扫描再加上先验知识的方法可以确定出双眼及鼻子的位置，并分割出包含双眼与鼻子的图像窗口；(4)与注视与否有关的面部几何特征参数提取：面部几何特征参数包括：人脸图像平面上鼻子的中心、左右眼睛中心和眼球中心；对分割出的眼睛窗口采用分区动态阈值法重新进行二值化，用矩形框匹配法确定眼睛的中心位置，再用模板匹配法或山峰算法确定眼球中心位置，用眼球中心减去眼睛中心可确定眼球相对于眼睛的位置偏移；同样用分区动态阈值法对鼻子窗口进行二值化，用模板匹配法确定鼻子的中心位置；假定B和C分别为图像平面上的左右眼睛中心，A为鼻子的中心，则ABC即为图像平面；B和E分别表示人脸平面上的左右眼睛中心。假定人脸平面与图像平面相交的直线为鼻子中心与左眼中心的连线AB，ED为E至AB的垂直线，则∠EDC即为人脸平面和图像平面的夹角Φ；这里，人脸平面上右眼的中心位置E是根据几何关系假定的，它可以通过图像平面上两眼的中心B和C以及它们与鼻子中心A连线的夹角θ来确定；夹角Φ和图像平面上已知的直线AB和AC以及他们的夹角θ之间的关系式为：$\cos \Phi =\frac{\left|\mathrm{AC}\right|\sin \theta }{\sqrt{{\left|\mathrm{AB}\right|}^2-{\left|\mathrm{AC}\right|}^2{\cos }^2\theta }}$ $\sin \Phi =\pm \sqrt{1-{\sin }^2\Phi }$ (5)基于面部几何特征参数的人工神经网络注视与否的识别：所谓注视与否的识别就是判别双眼眼球是否注视摄像机镜头，建立两层前馈型神经网络，其结构为4-4-1，用上面计算出的两个眼球相对于眼睛的位置偏移量、人脸平面和图像平面之间的夹角正弦sinΦ参数作为输入变量，第4个输入为偏置，通过对有关人已知的实际注视和非注视图像样本的学习，执行神经网络肤色、人脸和注视判别软件设计的步骤，用BP算法和所得到的注视参数对神经网络进行训练，可以确定该神经网络的权重参数，训练完成后的神经网络即可用于判别人眼的注视与否，并输出判别结果。