| 主权项 |
一种基于双目视觉的实时三维双手手势识别系统的方法，其特征在于包括下述步骤：步骤一：本发明基于双目视觉的双手手势识别系统，将两个摄像头固定在一个支架上水平设置，先对两个摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定；步骤二：启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心；步骤三：利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息；立体匹配及求视差方法如下：(1)求得左右图像对的手势质心点分别为(x<sub>l,c</sub>,y<sub>l,c</sub>)、(x<sub>r,c</sub>,y<sub>r,c</sub>)，x<sub>l,c</sub>和y<sub>l,c</sub>是左图像手势质心横纵坐标，x<sub>r,c</sub>和y<sub>r,c</sub>是右图像手势质心横纵坐标；(2)应用极线约束规则：若|y<sub>l,c</sub>‑y<sub>r,c</sub>|≤10，记下此时左右质心点坐标作为有效数据，并对下一帧图像继续执行步骤(1)，若不满足，则舍弃该数据，并对下一幅图像继续执行步骤(1)；(3)取连续5帧图像中的有效质心点坐标数据做均值运算，最终求得的均值分别为<img file="FDA0001016864220000011.GIF" wi="476" he="87" />则<img file="FDA0001016864220000012.GIF" wi="198" he="77" />为<img file="FDA0001016864220000013.GIF" wi="194" he="78" />的匹配点；(4)计算视差d：<img file="FDA0001016864220000014.GIF" wi="294" he="79" />基于立体匹配得到的视差信息d，运用双目立体视觉原理，计算出手势质心点相对左右摄像头光心的三维坐标；步骤四：对步骤二图像预处理过程中提取出的手势轮廓进行去除检测噪声，手势轮廓多边形拟合操作，对手势轮廓进行手势特征提取，得到手势特征的手势的凸包及凸缺陷特征，根据手势的凸包及凸缺陷特征对二维手势进行识别；步骤五：通过步骤四的二维手势结合手势质心的空间三维坐标实现手势的三维空间识别：双手手势分别在两个摄像头前同时变化，系统可以实时的得到手势图，左手手势深度信息为d1，右手手势深度信息是d2，左手手势与右手手势质心水平距离为X，左手手势与右手手势质心垂直距离为Y，左手手势为S1，右手手势为S2，左右双手手势个数相同，同为n个，当不考虑d1，d2，X，Y时，可以识别的双手手势个数为：N＝2<sup>n</sup>；当考虑双手手势左右或者前后移动变化时，d1，d2，X，Y是连续变化的，只要四个参数中有一个变化，本发明就识别为新的双手手势，上述四个参数结合双手手势个数N＝2<sup>n</sup>，可定义更多不同的响应，所以可以识别多种三维的双手手势；步骤六：在人机交互模块预先设定识别的多种手势，在双摄像头前双手分别做出人机交互模块预先设定的多种手势，计算机就会做出手势对应的人机交互效果。 |
