一种基于视线判断的人机交互方法及系统

摘要

本发明涉及人机交互技术领域，提供了一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括：通过摄像头获取人脸图像；对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；跟踪瞳孔中心位置，根据对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。本发明还提供了一种基于视线判断的人机交互系统。本发明通过摄像头实现在电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。

主权项

一种基于视线判断的人机交互方法，实现用户对电子设备的操作，其特征在于，包括：通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括：S401、设定N个标定点，N为大于或等于4的整数，保存屏幕上的标定点坐标到目标矩阵target[N,3]；S402、n＝0；S403、记录人眼注视标定点时瞳孔中心位置坐标(x_n，y_n)；S404、生成row[6,1]矩阵；n++，n++为自变量n自加1；S405、判断N是否大于n；若是，则尚未完成对所有标定点的注视和瞳孔中心位置坐标记录，返回执行步骤S403；若否，则表明已经完成了对所有标定点的注视和瞳孔中心位置坐标记录，此时执行步骤S406；S406、由N个row[6,1]矩阵生成设定矩阵design[N,6]；步骤S407：通过最小二乘法计算设定矩阵design[N,6]与目标矩阵target[N,3]之间x和y的对应关系转换系数coeffsX,coeffsY；跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。