基于指端标记的视频手指定位系统及其定位方法

摘要

一种基于指端标记的视频手指定位系统及其定位方法，属于虚拟现实系统的人机交互技术。本系统包括摄像机、图像采集设备和计算机。定位方法包括初始化和定位，初始化是通过二维平面标靶的标定方法，确定每部摄像机的内部参数，通过对摄像机的全局标定，确定每部摄像机坐标系相对于一个统一世界坐标系的平移和转向；定位阶段，采用自适应拍摄距离，通过对图形标记点的检测实现手指定位。本发明，结构简单、成本低、定位精度高，适用于虚拟现实系统的人机交互。

主权项

1.一种基于指端标记的视频手指定位方法，其特征在于，包括如下工作步骤：(1)初始阶段：通过基于二维平面标靶的标定方法，确定N部摄像机的内部参数；通过对N部摄像机进行全局标定，确定N部摄像机坐标系相对于一个统一世界坐标系的平移与转向，完成系统初始化，其中N为大于1的自然数；(2)定位阶段：采用自适应拍摄距离，通过对五指指端及手背贴上的远近兼容图形标记点的检测实现手指定位；所述远近兼容图形标记点是指不同指端的标记点图形采用不同颜色，标记点图形带有方向特征，标记点图形内部绘制标定图案；所述自适应拍摄距离包括远距离、中距离和近距离，远距离时，采用多目视觉原理，基于标记点的不同颜色实现定位，中距离时，采用多目视觉原理，基于标记点不同颜色实现定位，基于标记点图形的方向特征确定指端方向，近距离时，采用单目视觉原理，基于标定图案实现定位；所述图形标记点的检测，引入开关类型、开关空间位置与操作手形对应的参数关系，预测指端运动轨迹，缩小标记点检测查询空间，提高定位速度，中距离时，当标记点坐标信息不足时，通过基于肤色分割的方法，确定整体手形，结合手形与可见标记点的坐标信息，实现整体定位，近距离拍摄时，根据标定图案的不同，采用不同的定位方法，分别是：①标定图案为直角三角形和一条直线的定位方法，利用标定图案间的对应性，由单应矩阵确定指端的位置和角度，其中，单应矩阵是表示三维空间点与对应二维图像点之间关系的矩阵；②标定图案为正方形的定位方法，由矩形四个顶点的投影成像，利用旋转矩阵的单位正交性定位手指，所述旋转矩阵的单位正交性；RR^T＝R^TR＝I，其中$R=\left(\begin{array}{ccc}\cos \psi \cos \phi & \sin \theta \sin \psi \cos \phi -\cos \theta \sin \phi & \cos \theta \sin \psi \cos \phi +\sin \theta \sin \phi \\ \cos \psi \sin \phi & \sin \theta \sin \psi \sin \phi +\cos \theta \cos \phi & \cos \theta \sin \psi \sin \phi -\sin \theta \cos \phi \\ -\sin \psi & \sin \theta \cos \psi & \cos \theta \cos \psi \end{array}\right),$$R^T=\left(\begin{array}{ccc}\cos \psi \cos \phi & \cos \psi \sin \phi & -\sin \psi \\ \sin \theta \sin \psi \cos \phi -\cos \theta \sin \phi & \sin \theta \sin \psi \sin \phi +\cos \theta \cos \phi & \sin \theta \cos \psi \\ \cos \theta \sin \psi \cos \phi +\sin \theta \sin \phi & \cos \theta \sin \psi \sin \phi -\sin \theta \cos \phi & \cos \theta \cos \psi \end{array}\right),$其中θ为绕统一世界坐标系X轴的旋转角，ψ为绕统一世界坐标系Y轴的旋转角，φ为绕统一世界坐标系Z轴的旋转角，$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$③标定图案为正方形的一组对边和对角线的定位方法，由两个方向的消隐点确定手指的位置和方向，其中，消隐点是指空间平行直线在不与摄像头成像面平行的情况下所成的像在成像平面的交点；④标定图案为圆的定位方法，利用圆在透视投影过程中变成椭圆，运用三角几何知识完成手指的定位。