基于视频图像和人工神经网络的凝视点测量装置及其方法

摘要

本发明公开了一种基于视频图像和人工神经网络的凝视点测量装置及其方法，旨在提供一种测量精度较高的头部自由式凝视点测量装置及方法。测量装置，包括主机、主显示器和辅显示器，其特征是，它还包括一个立体视觉测量系统，立体视觉测量系统由光源、直流稳压电源和2个或2个以上的摄像机组成。测量方法，采用人工神经网络建立凝视点测量数学模型，人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量。

主权项

一种凝视点测量方法，采用人工神经网络建立凝视点测量数学模型，所述人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量，其特征是：所述人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，包括下述步骤：(1)训练人工神经网络：(a)在辅显示器上依次显示9个或9个以上的坐标已知的标定目标；(b)一边让被测对象凝视这些标定目标，一边用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标；(c)使用所述步骤(a)和(b)中所获取的数据训练人工神经网络；(2)使用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标，然后由经过所述步骤(1)训练的人工神经网络计算被测对象在辅显示器上的凝视点坐标，采用Tsai摄像机模型描述摄像机的成像过程，Tsai摄像机模型中的未知参数的数值由传统标定方法确定：(d)在三维空间中人为设置或选取坐标已知的目标点P_k(k＝1,2,…,N)；(e)用摄像机拍摄三维点目标P_k的图像，并检测其成像点的二维坐标(f)由Tsai摄像机模型建立非线性方程组：$f\frac{r_{11}{x}_k^w+r_{12}{y}_k^w+r_{13}{z}_k^w+t_1}{r_{31}{x}_k^w+r_{32}{y}_k^w+r_{33}{z}_k^w+t_3}={\hat{x}}_k^i+k_1{\hat{x}}_k^i{\hat{r}}^2$$f\frac{r_{21}{x_k^w}^w+r_{22}{y}_k^w+r_{23}{z}_k^w+t_2}{r_{31}{x}_k^w+r_{32}{y}_k^w+r_{33}{z}_k^w+t_3}={\hat{y}}_k^i+k_1{\hat{y}}_k^i{\hat{r}}^2$                                         k＝1,2,...N式中，(r_ij)_3×3表示世界坐标系至摄像机坐标系的过渡矩阵，(t_i)_3×1表示世界坐标系至摄像机坐标系的转移向量，f表示镜头焦距，${\hat{r}}^2={\left({\hat{x}}^i\right)}^2+{\left({\hat{y}}^i\right)}^2,{\hat{x}}^i=-s_x^{-1}{d}_x^{\prime }(x^i-u_0),$(u₀,v₀)表示光轴与像平面的交点在像平面坐标系中的坐标，d_y表示图像传感器垂直方向相邻像元之间的中心距，d′_x＝d_xN_cx/N_fx，d_x表示图像传感器水平方向相邻像元之间的中心距，N_fx表示图像传感器像元阵列的列数，N_cx表示摄像机实际采集图像的列数，s_x表示图像比例因子，参数N_fx、N_cx和s_x是针对CCD摄像机提出的，在实际应用中，如果选用的是CMOS摄像机，则N_cx/N_fx和s_x的数值均应取1；(g)求解上述非线性方程组，确定Tsai摄像机模型中的未知参数。