发明名称 基于深度信息的指尖检测方法
摘要 基于深度信息的指尖检测方法,指尖是指从手心出发经过指根点的测地路径的终点,检测方法包括如下步骤:1、手部分割及手心定位;2、指根定位:包括初始阶段的指根检测和手掌平面旋转时的指根位置估计;3、指尖检测:包括图模型建立、手指定位和指尖定位;本发明检测方法无论对于静止的手势还是运动的手势都能达到较高的识别率,且能够做到实时检测;同时,当手掌与镜头成一定角度时,也能达到较高的检测精度;通过计算指尖位置达到手势识别的目的,实现了稳定准确的指尖位置检测,并且可通过计算手掌法向量实现多角度指尖检测。
申请公布号 CN103488972A 申请公布日期 2014.01.01
申请号 CN201310407231.X 申请日期 2013.09.09
申请人 西安交通大学 发明人 宋永红;俞雨;张元林
分类号 G06K9/00(2006.01)I 主分类号 G06K9/00(2006.01)I
代理机构 西安智大知识产权代理事务所 61215 代理人 何会侠
主权项 1.基于深度信息的指尖检测方法,其特征在于:指尖是指从手心出发经过指根点的测地路径的终点,检测方法包括如下步骤:步骤1:手部分割及手心定位:首先使用OpenNI函数库确定手心大致位置,然后通过手心点深度推算出手部的大致深度范围,再分割出手;将手心点定义为手部区域内最大内接圆的圆心点,利用距离变换原理对手心定位;步骤2:指根定位:包括初始阶段的指根检测和手掌平面旋转时的指根位置估计;1)初始阶段的指根检测:在初始阶段,要求用户手掌平面与镜头平面平行,通过深度图分割出手部并使用轮廓分析检测出两个手指间的“凹坑”,相邻两个“凹坑”间连线的中点即是指根;对于大拇指、食指和小拇指来说,首先检测出其中一个“凹坑”的位置,然后以指尖为对称中心,获得对称面的“凹坑”位置,即大拇指、食指和小拇指的指跟;2)手掌平面旋转时的指根位置估计:假设手掌平面是一个刚体,那么指根坐标在以这个平面为XOY平面建立起来的坐标系内固定不变,通过计算手掌平面法向量再利用坐标变换原理即可得到指根在手掌平面旋转时的坐标;步骤3:指尖检测:包括图模型建立、手指定位和指尖定位;1)图模型建立:获得指根位置坐标后,将手部的空间点云的深度图转化为一个图模型,各空间像素点作为其中的一个顶点,当两个顶点互为邻域且三维距离小于1cm时,两个顶点间有边相连;这个图模型表征了目标在空间上的表面像素分布;然后以手心为源点,通过Dijkstra最短路径算法,计算出手心到所有轮廓点的最短路径及其距离;2)手指定位:将手部的像素点分为六类,每一类的标签为l<sub>h</sub>∈{T,I,M,R,P,N},分别表示大拇指、食指、中指、无名指、小拇指和非手指点,对于五个手指,其对应的指根点为F<sub>B</sub>={T<sub>B</sub>,I<sub>B</sub>,M<sub>B</sub>,R<sub>B</sub>,P<sub>B</sub>};具体算法如下:①将手部点v赋值为一个临时参量v<sub>t</sub>;②对于临时参量v<sub>t</sub>,根据前驱数组得到其前驱点<img file="FDA0000379479470000021.GIF" wi="88" he="63" />③将前驱点<img file="FDA0000379479470000022.GIF" wi="52" he="71" />赋值为临时参量v<sub>t</sub>;④若临时参量v<sub>t</sub>位于某一指根X<sub>B</sub>(X<sub>B</sub>∈F<sub>B</sub>)的邻域内,则手部点v的类别l<sub>v</sub>=X(X∈{T,I,M,R,P})返回l<sub>v</sub>;⑤若临时参量v<sub>t</sub>等于手心C<sub>p</sub>,则手部点v的类别l<sub>v</sub>=N返回l<sub>v</sub>;⑥否则,返回步骤②;3)指尖定位:先剔除各候选区域内测地距离较小的点,然后对于剩余点求几何中心,该几何中心即是指尖点。
地址 710049 陕西省西安市咸宁路28号