基于人眼图像和视线追踪的操作指针指示控制设备

摘要

本发明提供了一种基于人眼图像和视线追踪的操作指针指示控制设备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控制而实现人机交互，其在交互控制过程中，能够避免可见光环境阴暗等情况引起的干扰，缓解、甚至屏蔽掉因抖动产生的位移误差，达到了操作指针的指示位置与人眼视线所观察到的现实场景相叠加的人机交互效果，由此使得头戴式计算机终端设备的人机交互能力得以增强，并且能够具有丰富的可操作性和强大的可扩展性，从而有效地解决了现有技术中的头戴式计算机终端设备因其人机交互能力受限而限制了其在工业、商业技术领域的推广应用的问题，在可佩戴式计算机终端设备技术领域具有广阔的应用前景。

主权项

基于人眼图像和视线追踪的操作指针指示控制设备，其特征在于，包括用于通过佩戴而固定在人体头部上的佩戴支架，以及设置在所述佩戴支架上的红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、显示模块和电源模块；所述佩戴支架具有对应于人体眉毛位置处的眉部，所述微型红外摄像头以及红外测距传感器的红外发射器和红外接收器均设置于佩戴支架的眉部并朝向人体眼睛所在方向；所述显示模块输出的显示画面所在位置位于佩戴支架的眉部的下方对应于人体眼睛位置处；其中，微型红外摄像头的图像数据输出端与图像处理模块的图像采集端电连接，图像处理模块的处理数据输出端与视线追踪识别模块的人眼数据采集端电连接，视线追踪识别模块的识别信息输出端与微控制处理模块的眼动数据输入端电连接，红外测距传感器的距离信号输出端与微控制处理模块的距离数据输入端电连接，微控制处理模块的显示信号输出端与显示模块的显示信号输入端电连接，微控制处理模块的参数采集端与数据存储模块进行数据连接，由电源模块分别为红外测距传感器、微型红外摄像头、图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块和显示模块供电；所述数据存储模块用于存储设备参数数据和指令参数数据；所述设备参数数据记录的信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三维位置关系；所述指令参数数据记录的信息包括操作指针功能指令所对应的眼睛睁闭动作以及瞳孔移动动作；所述红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光，通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该距离数据传送至微控制处理模块；所述微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过图像数据输出端实时地传送至图像处理模块；所述图像处理模块用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分割处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边缘增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块；所述视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至微控制处理模块；所述微控制处理模块用于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与角膜反射光斑中心所在位置所构成的位置向量而估算确定人眼的视线方向，并结合通过参数采集端从数据存储模块提取的佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三维位置关系以及通过距离数据输入端获取到的佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据构建空间三维坐标，通过该空间三维坐标计算确定人体眼睛所在位置相对于显示模块输出的显示画面上各个显示位置点的距离，进而计算确定人眼的视线方向在显示画面上的实时相交点，并生成操作指针位置指令通过显示信号输出端实时地传送至显示模块，控制其显示画面上的操作指针实时地指示于人眼的视线方向在显示画面上的相交点位置；微控制处理模块还用于实时地根据眼动数据输入端接收到的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔的实际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的眼睛睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操作指针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所指示的位置执行相应的功能操作。