发明名称 一种基于眼动跟踪的人机交互方法
摘要 一种基于眼动跟踪的人机交互方法,包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机,其中四组红外光源设置在计算机显示屏的四个角落,另一组红外光源设置在相机镜头周围;相机设置在计算机显示屏下方并连接到计算机,相机镜头朝向操作者面部;包括标定的步骤,捕获和检测图像的步骤,判断眨眼的步骤,判断凝视点变化的步骤和输出交互指令的步骤。本发明的有益效果在于:1.标定简单,移植性好;2.通过对暗瞳进行检测,增加了适用用户;3.通过平滑处理,克服了人眼生理颤动带来的干扰;4.操作者头部在较大范围内移动系统精确度仍然较高;5.使用单个相机,成本相对较低;6.处理速度较快,能够满足实时的人机交互。
申请公布号 CN103677270A 申请公布日期 2014.03.26
申请号 CN201310684342.5 申请日期 2013.12.13
申请人 电子科技大学 发明人 程洪;姬艳丽;刘雅齐;杨路
分类号 G06F3/01(2006.01)I 主分类号 G06F3/01(2006.01)I
代理机构 成都信博专利代理有限责任公司 51200 代理人 卓仲阳
主权项 一种基于眼动跟踪的人机交互方法,包括五组朝向计算机操作者的红外光源和一台内置红外滤光片的相机,其中四组红外光源(LED1、LED2、LED3、LED4)设置在计算机显示屏的四个角落,另一组红外光源(LED5)设置在相机镜头周围;相机设置在计算机显示屏下方并连接到计算机,相机镜头朝向操作者面部;其特征在于,包括标定的步骤,包括101:计算机通过相机捕获操作者注视显示屏任一角落的红外光源时的面部图像,对图像进行眼睛检测、光斑检测和瞳孔检测,得到瞳孔中心、相机镜头周围的红外光源(LED5)对应的光斑中心和该组红外光源对应的光斑中心,计算对应的标定系数;102:依照上述操作,分别计算操作者注视显示屏其它角落的红外光源时对应的标定系数;捕获和检测图像的步骤,包括201:计算机通过相机以帧频F持续捕获操作者观看显示屏的面部图像;202:对每一帧图像进行眼睛检测、光斑检测、瞳孔检测和凝视点估计;判断眨眼的步骤,包括301:判断以任意时刻t为起始点的时间段TL中捕获的L帧连续图像,L=TL*F;如果L帧图像中有且仅有一个时间段TK中捕获的K帧连续的图像未检测到光斑,TK<TL,设定为操作者眨眼一次;如果L帧图像中有两个时间段TK1和TK2中各自捕获的K1和K2帧连续的图像未检测到光斑,TK1<TL、TK2<TL且TK1+TK2<TL,并且两个时间段各自捕获的连续图像之间的其它图像检测到光斑,设定为操作者眨眼两次;判断凝视点变化的步骤:401:设任意时刻t捕获的那一帧图像中的凝视点在屏幕上的横坐标gx纵坐标gy;402:判断以时刻t为起始点的时间段TR中的R帧连续图像,R=TR*F,如果R帧图像中的凝视点均停留在以横坐标gx纵坐标gy为圆心,半径为r的圆内,设定为凝视点停留;403:判断以时刻t为起始点的时间段TD中的D帧连续图像,D=TD*F,如果D帧图像中的凝视点的横坐标和纵坐标单调减小,且总的减小量分别超过横坐标变化量X和纵坐标变化量Y,设定为凝视点向左上方移动;404:判断以时刻t为起始点的时间段TU中的U帧连续图像,U=TU*F,如果U帧图像中的凝视点的横坐标和纵坐标单调增加,且总的增加量分别超过横坐标变化量X和纵坐标变化量Y,设定为凝视点向右下方移动;输出交互指令的步骤,包括501:如操作者眨眼一次,则输出鼠标左键单击的指令;502:如操作者眨眼两次,则输出鼠标左键双击的指令;503:如凝视点停留,则输出鼠标右键单击的指令;504:如凝视点向左上方移动,则输出鼠标滚轮向上滚动的指令;505:如凝视点向右下方移动,则输出鼠标滚轮向下滚动的指令。
地址 611731 四川省成都市高新区(西区)西源大道2006号