一种非接触式手势操控用户界面的方法

摘要

本发明涉及一种基于Kinect的非接触式手势操控电脑、触摸屏和投影等用户界面的方法，该方法的主要步骤为：通过Kinect采集操作者双臂动作，使用手势识别算法识别出手势，利用识别出的手势实现人与电脑、触摸屏和投影等用户界面的交互。本发明涉及单击、右键单击、双击、前滚后滚、放大缩小和拖动共6种手势，基本覆盖了人与电脑、触摸屏和投影等进行交互的需求。本文提出了一种新的识别方法，不仅可以提高手势识别的精度，还能提高识别的快速性。结合6种手势的使用，可以使人机交互更加便利自如。

主权项

一种非接触式手势操控用户界面的方法，其特征在于包含以下步骤:1)通过摄像头采集操作者双臂骨骼关节动作；2)对采集到的图像进行有效性判断,具体判断方法如下:首先判断采集到的图像是否是有效图像，具体为，摄像头采集操作者的骨骼关节点的三维坐标信息数据；当每帧图像中采集到的操作者的骨骼关节点大于14，并且这14个骨骼关节点中包含了操作者的中肩、左右肩、左右肘、左右腕和左右手关节共9个关节点的三维坐标数据时，则将其视作有效图像帧数据，否则，视为无效,并舍弃；然后分别判断有效图像中的左、右手臂是否为有效操作手臂，具体为：肩关节与对应腕关节y轴坐标之差的绝对值m小于d即为有效的手臂，否则为无效操作，其中9个骨骼关节点的坐标表示如下：中肩S_c(x_sc,y_sc,z_sc)＝(0,0,0)，左肩S_l(x_sl,y_sl,z_sl)，右肩S_r(x_sr,y_sr,z_sr)，左肘E_l(x_el,y_el,z_el)，右肘E_r(x_er,y_er,z_er)，左腕W_l(x_wl,y_wl,z_wl)，右腕W_r(x_wr,y_wr,z_wr)，左手H_l(x_hl,y_hl,z_hl)，右手H_r(x_hr,y_hr,z_hr)。其中：m＝|y_si‑y_wi|，$d=0.9*(\sqrt{{(x_{\mathrm{si}}-x_{\mathrm{ei}})}^2+{(y_{\mathrm{si}}-y_{\mathrm{ei}})}^2+{(z_{\mathrm{si}}-z_{\mathrm{ei}})}^2}+\sqrt{{(x_{\mathrm{ei}}-x_{\mathrm{wi}})}^2+{(y_{\mathrm{ei}}-y_{\mathrm{wi}})}^2+{(z_{\mathrm{ei}}-z_{\mathrm{wi}})}^2})$，i取r或者l；3)对采集到的存在有效操作手臂的图像进行手势识别，具体识别方法A如下：3.1)将图像中的关节点的三维坐标数据转换为人体坐标系下的三维数据，其中所述的人体坐标系是以中肩关节为原点坐标(0,0,0)，人体所在平面为X‑Y平面，竖直向上方向为Y轴正方向，人体正对方向为Z轴负方向，X‑Y‑Z遵守右手螺旋定则；3.2)提取t时间段内中肩、左右肩、左右肘、左右腕和左右手关节共9个关节点的人体坐标系下的三维坐标数据，计算中肩、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手这9个关节点中，肘关节到对应肩关节点的矢量U与肘关节到对应腕关节点的矢量V的夹角α,肘关节到对应腕关节点的矢量V与X轴正方向的夹角β,腕关节到对应手关节的矢量W与肘关节到对应腕关节点的矢量V之间的夹角ω，通过α、β、ω识别手势控制指令；$\alpha =\arccos \frac{(x_{\mathrm{wr}}-x_{\mathrm{er}})*(x_{\mathrm{sr}}-x_{\mathrm{er}})+(y_{\mathrm{wr}}-y_{\mathrm{er}})*(y_{\mathrm{sr}}-y_{\mathrm{er}})+(z_{\mathrm{wr}}-z_{\mathrm{er}})*(z_{\mathrm{sr}}-z_{\mathrm{er}})}{\sqrt{{(x_{\mathrm{wr}}-x_{\mathrm{er}})}^2+{(y_{\mathrm{wr}}-y_{\mathrm{er}})}^2+{(z_{\mathrm{wr}}-z_{\mathrm{er}})}^2}*\sqrt{{(x_{\mathrm{sr}}-x_{\mathrm{er}})}^2+{(y_{\mathrm{sr}}-y_{\mathrm{er}})}^2+{(z_{\mathrm{sr}}-z_{\mathrm{er}})}^2}}$$\beta =\arccos \frac{(z_{\mathrm{wr}}-z_{\mathrm{er}})}{\sqrt{{(x_{\mathrm{wr}}-x_{\mathrm{er}})}^2+{(y_{\mathrm{wr}}-y_{\mathrm{er}})}^2+{(z_{\mathrm{wr}}-z_{\mathrm{er}})}^2}}$$w=\arccos \frac{(x_{\mathrm{wr}}-x_{\mathrm{er}})*(x_{\mathrm{hr}}-x_{\mathrm{wr}})+(y_{\mathrm{wr}}-y_{\mathrm{er}})*(y_{\mathrm{hr}}-y_{\mathrm{wr}})+(z_{\mathrm{wr}}-z_{\mathrm{er}})*(z_{\mathrm{hr}}-z_{\mathrm{wr}})}{\sqrt{{(x_{\mathrm{wr}}-x_{\mathrm{er}})}^2+{(y_{\mathrm{wr}}-y_{\mathrm{er}})}^2+{(z_{\mathrm{wr}}-z_{\mathrm{er}})}^2}*\sqrt{{(x_{\mathrm{hr}}-x_{\mathrm{wr}})}^2+{(y_{\mathrm{hr}}-y_{\mathrm{wr}})}^2+{(z_{\mathrm{hr}}-z_{\mathrm{wr}})}^2}}$4)将识别出的手势控制指令与被控对象系统接口程序中的外部输入操作进行映射，实现用户界面的控制。