基于Leap Motion和Kinect的手势识别方法

摘要

本发明公开了一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

主权项

一种基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；(1.2)、计算手指角度A_i根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度A_i：A_i＝∠(F_i^π‑C,h)＝∠((x_i‑a,z_i‑b,‑c),(x_i‑a,z_i‑b,y_i‑c))其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；F_i是手指尖的位置，坐标为(x_i,z_i，y_i)，F_i^π是F_i在平面XOZ上的投影，投影点坐标为(x_i,z_i,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(x_i‑a,z_i‑b,y_i‑c)；(1.3)、计算手指尖距离手掌心的三维距离D_iD_i＝||F_i‑C||/S＝||(x_i‑a,z_i‑b,y_i‑c)||/||(x_middle‑a,z_middle‑b,y_middle‑c)||,i＝1,…10其中，S＝||F_middle‑C||＝||(x_middle‑a,z_middle‑b,y_middle‑c)||是手心到中指尖的距离，F_middle为中指尖的位置，坐标为(x_middle,z_middle，y_middle)，|| ||表示；(1.4)、计算手指尖的高度E_i计算手指尖到它在XOZ面的投影点点之间的高度E_i：E_i＝sgn((F_i‑F_i^π)×n)||F_i‑F_i^π||/M＝sgn((0,0,y_i)×n)y_i/y_middle,i＝1,…,10其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；(2)、获取手势信息(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积B_rect和手型外接最小圆的周长l_circle；(2.3)、结合步骤(2.2)获取相应的手势信息圆形度：填充率：周长比：(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；按照步骤(1)所述方法计算手势样本集中所有手势样本的A_ki、D_ki和E_ki，其中，k表示手势种类；按照步骤(2)所述方法计算手势样本集中所有手势样本的c_k、f_k和p_k；再将A_i、D_ki和E_ki，c_k、f_k和p_k融合成一个属性矩阵；(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。