一种用于智能家居系统的3D动态手势识别方法

摘要

本发明涉及计算机视觉、人机交互技术领域，具体涉及一种用于智能家居系统的3D动态手势识别方法，与计算机相连接的Kinect摄像头采集到深度图像和RGB图像；对深度图像进行预处理；在RGB图像中进行人脸检测；提取人脸深度；分离人体手部区域图像；寻找手掌区域；储存手掌位置信息。将本发明用于智能家居系统的控制中，可以代替传统的开关键盘控制，将人手的动作传递给一个系统，让人可以不需起身去各家居产品前进行调节而由计算机代劳，操作方式更加轻松简单。

主权项

一种用于智能家居系统的3D动态手势识别方法，其特征在于：包括以下步骤：步骤一，与计算机相连接的Kinect摄像头采集到深度图像和RGB图像；步骤二，对深度图像进行预处理，去掉深度图像中纯白或纯黑的点，再在深度图中找到背景平均深度；步骤三，在RGB图像中进行人脸检测，使用分类器进行人脸检测，程序自动动态改变搜索精度，在初始时刻以低精度搜索人脸以提高系统实时性，当检测到多个人脸时选择深度最靠前且中心靠近图像中间的人脸区域作为最终确定的人脸区域；若当前精度没有检测到人脸区域，则自动提高精度，重新进行搜索，重复之前步骤直道找到人脸区域；步骤四，提取人脸深度，在检测到真实的人脸区域后，我们对人脸区域的外接矩形区域R进行处理，在深度图像中找到R区域，去掉其中深度很小或很大的点，对剩下的点求深度平均值作为人脸区域的平均深度df；步骤五，分离人体手部区域图像，得到人脸区域的平均深度df后，将人脸深度值减小阈值得到深度dh=df‑即为手部区域的深度，得到手部区域深度阈值dh后，在深度图像中选出深度小于dh的部分得到子图像P1，在子图像P1对应的RGB图像中进行肤色检测，选取符合人体肤色范围的多块子区域，在这些子区域中寻找联通域面积最大的一块作为手部区域H；步骤六，寻找手掌区域，在深度图像中找到手部区域H，在H中用固定大小的小矩形框r滑动搜索，每次求出小矩形框的平均深度值，最后选取平均深度值最小的小矩形框r作为手掌区域rh；步骤七，储存手掌位置信息，在得到手掌区域rh后，储存手掌区域的中心点坐标和平均深度值，给后续识别算法处理。