基于视线跟踪和手势识别的人机交互方法及装置

摘要

本发明公开了基于视线跟踪和手势识别的人机交互方法及装置。该方法包括步骤：人脸区域的检测、手区域的检测、人眼的定位、指尖的定位、屏幕定位和手势识别，由人眼和指尖两点确定一条直线，并将该直线与屏幕相交的位置转化为鼠标在屏幕上的逻辑坐标，同时通过判断手指点击动作来模拟鼠标的点击操作。该装置包括图像采集模块，图像处理模块，无线传输模块，首先通过摄像头实时采集用户的图像，然后利用图像处理算法对图像进行分析和处理，将用户指向屏幕的位置和手势的变化转化为计算机在屏幕上的逻辑坐标和控制指令；再将处理结果通过无线传输模块传输给计算机。本发明提供一种自然、直观、简便的人机交互方式，可实现远距离地操作计算机。

主权项

基于视线跟踪和手势识别的人机交互方法，包括步骤：(1)人脸区域的检测；(2)手区域的检测；(3)人眼的定位和(4)指尖的定位，其特征在于还包括如下步骤：(5)屏幕定位：当用户伸出一个手指指向屏幕时，系统根据图像采集装置采集到的人脸图像和手图像区域面积大小计算出人眼和指尖到屏幕的距离；将人眼和指尖在图像中的坐标转换为人眼和指尖在以图像采集装置为原点的三维坐标系统中的坐标；由人眼和指尖两点确定一条直线，该直线与屏幕相交的点就是用户指向屏幕的位置，根据人眼坐标和指尖坐标的比例关系计算出该位置在所述三维坐标系统中的坐标；根据屏幕的大小，将所述位置的坐标转化为鼠标在屏幕上的逻辑坐标；(6)手势识别：通过判断手指点击动作来模拟鼠标的点击操作，当用户伸出右手一个手指指向屏幕并移动时，将视为鼠标的移动；当该右手手指第一次合起时，将视为按下鼠标左键；此时若将右手手指伸出指向屏幕并移动，将视为按住左键移动鼠标；当该右手手指再次合起时，将视为释放了左键；当用户伸出左手一个手指指向屏幕，然后将左手手指合起时，将视为按下鼠标右键；当左手手指伸出后，将视为释放鼠标右键。