基于立体视觉三维手指运动轨迹跟踪方法

摘要

一种基于立体视觉三维手指运动轨迹跟踪方法。为从复杂背景中分割运动目标，基于场景中任何可察觉目标运动都会体现在场景图像序列变化中，建立自适应背景模型，采用背景差分法从复杂背景中提取运动对象，并基于手指在图像空间中的位置关系，分割出手指或手臂区域。为解决手指尖特征点对应匹配，基于手指尖特征点、手指或手臂轴线及外极线等多几何约束关系，确定手指尖特征对应点。采用求解反对应方法，确保手指尖匹配对应的正确性。基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标。本发明通过视频采集，获取手指运动信息，实现自然、直观的人机交互。

主权项

1.一种基于立体视觉三维手指运动轨迹跟踪方法，其特征在于基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，进行自适应背景建模；基于建立的背景模型，提取前景运动对象，从前景对象中分割出手指或手臂对象，提取手指尖特征点；基于手指尖、手指或手臂轴线及外极线的多几何约束关系，确定手指尖的对应匹配；采用求解出的手指尖对应点与相应手指点的距离小于某阈值Th，作为手指尖匹配点为正确匹配对应指尖点判据；基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标；具体步骤如下：(1)启动计算机及摄像机图像采集系统对由摄像机采集到的标定用图像进行摄像机标定，确定摄像机投影矩阵；(2)获取背景图像连续采集不包含目标的场景图像，当一设定时间间隔内两图像差小于某个设定阈值时，则获取背景场景作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；(3)运动目标分割由摄像机采集的当前帧图像与步骤(2)取的背景图像相减，分割出运动目标区域；(4)采用数学形态学滤波方法，获取完整的运动目标；(5)根据手指在采集到的二维图像中的空间位置关系，分割出手臂、手指对象，并确定手指尖在图像中的位置；(6)基于手指尖、手指或手臂轴线以及摄像机采集图像的外极线之间的几何关系，确定手指尖的匹配对应；(7)若求解出的手指尖匹配对应点与相应的手指尖位置的距离小于设定阈值，则求解的手指尖为正确匹配对应手指尖；否则，转入步骤(3)，重新根据当前采集到的图像，确定手指尖位置；(8)基于手指尖位置和摄像机投影矩阵，重建手指尖三维坐标。