基于手轮廓特征的手势识别控制方法和系统

摘要

本发明公开一种基于手轮廓特征的手势识别控制方法和系统，其主要有初始设置步骤、图像预处理步骤、手势识别步骤、命令解析步骤和待控应用程序控制步骤构成。本发明通过对视频帧进行外轮廓提取来进行手势识别，利用手势识别过程中手势特征面积和手势特征周长来识别出手势，并以凸包缺陷面积和来刻画抱拳和手掌，从而有效提高了手掌识别的准确度和效率；在手势识别过程中全部采用周长和面积等常用计算判别，而非复杂的图像模式识别样本比对方式，因而不需要添加额外样本库，就可以为其他应用开发服务，比如基于手势控制的图片查看器、音乐播放器、网页浏览器和游戏应用程序。

主权项

基于手轮廓特征的手势识别控制方法，其特征是包括如下步骤：步骤1，设置系统的初始参数，其中初始参数包括视频边框阈值、手势特征面积阈值、手势特征周长阈值、凸包缺陷面积阈值、物距、以及手势语义上下左右四个方向所对应的控制命令；步骤2，通过摄像头拍摄人的图像视频流，并将其送入计算机中对图像视频流的视频帧进行图像预处理；步骤3，计算机找出视频帧的所有外轮廓，接着将当前视频帧的外轮廓放入双向轮廓链表，然后遍历链表，排除噪声轮廓；步骤4，若外轮廓的边界接近整个视频帧的边界，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤5，继续对该外轮廓进行手势识别；步骤5，计算外轮廓的面积，若外轮廓的面积与视频区域矩阵面积的比例小于预设的手势特征面积阈值与物距平方的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤6，继续对该外轮廓进行手势识别；步骤6，计算外轮廓最大边框矩形的周长，若外轮廓最大边框矩形的周长与视频区域矩阵周长的比例大于预设的手势特征周长阈值与物距的比例时，则计算机判定该外轮廓不为手势，返回步骤3的链表遍历循环操作，继续遍历检测当前视频帧双向轮廓链表里的其他外轮廓；否则进入步骤7，继续对该外轮廓进行手势识别；步骤7，计算外轮廓的凸包缺陷面积，若外轮廓的凸包缺陷面积小于预设的凸包缺陷面积阈值时，则计算机判定该外轮廓为抱拳手势，此时计算出抱拳手势的中心坐标位置，并重复步骤2‑7继续检测下一帧视频帧直至识别出抱拳手势；若外轮廓的凸包缺陷面积大于预设的凸包缺陷面积阈值，则计算机判定该外轮廓为手掌手势，并计算手掌手势的中心坐标位置；步骤8，对抱拳手势和手掌手势的中心坐标位置作差得到手势偏移向量，根据手势偏移向量所在象限来解析控制者上下左右四个方向的手势语义，解析成相应的控制命令，并对解析出的控制命令进行编号生成命令队列；步骤9，计算机从命令队列中逐条取出控制命令，并向计算机的待控应用程序发送控制命令所对应的虚拟键盘消息，最终待控应用程序将响应该控制命令。