一种多维加权的3D动态手势识别方法

摘要

本发明公开了一种多维加权的3D动态手势识别方法，在训练阶段，首先对标准手势进行分割，获得标准手势的特征向量，然后进行坐标系转换、归一化处理、平滑处理、降采样以及差分处理，得到一个标准手势的特征向量集以及其中各关节点的权值和元素各维的权值，这样构建出标准手势样本库。在识别阶段，采用多维加权动态时间规整算法计算待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离，在计算代价矩阵C第(m,n)个元素s(m,n)时，考虑关节点的权值以及元素中各维的权值，去掉了对手势识别无贡献的关节点和坐标维数，有效去掉了关节抖动、人体误动作对手势识别造成的干扰，提高了算法的抗干扰能力，最终提高的手势识别的正确率和实时性。

主权项

一种多维加权的3D动态手势识别方法，其特征在于，包括以下步骤：(1)、训练阶段1.1)、手势分割从图像输入设备提供的连续人体动作视频(训练视频)中获取标准手势的关节点数据，并跟踪左右手、左右手腕、左右手肘这6个关节点的位置，当检测到手处于伸出状态即手的Z坐标值在跟踪的六个关节点的Z坐标值中最小时，并且手的移动速度在接下来的连续的若干帧图像中由0增加到某一阈值，认为手势开始；当该手部的移动速度在连续的若干帧图像中逐渐减小到某一阈值，则认为手势结束；1.2)、获取手势特征向量手势分割结束后，根据跟踪的6个关节点的连续坐标信息，就可以得到描述该标准手势的运动轨迹；对于每一帧图像，6个关节点的位置信息：$f_t^c=\{(x_1^t,y_1^t,z_1^t),(x_2^t,y_2^t,z_2^t),(x_3^t,y_3^t,z_3^t),(x_4^t,y_4^t,z_4^t),(x_5^t,y_5^t,z_5^t),(x_6^t,y_6^t,z_6^t)\}$其中，t为图像帧序号，为第t帧图像中第i个关节点的三维坐标，这些关节点分别为右手、右手腕、右手肘、左手腕、左手肘、左手；可以看成是一个包含6个元素的特征向量，而其中的每个元素是三维的，c表示这个特征向量所属的标准手势类别；一个标准手势就是上述特征向量的集合，一个标准手势需要N帧的时间完成，则它对应的特征向量集为：N为标准手势持续的帧数；1.3)、坐标系转换以肩部中心这一关节点为基准，把每一帧获取的关节点的坐标系转换为以肩部中心为原点的用户坐标系：肩部中心的坐标为(C_x,C_y,C_z)，第t帧图像中关节点i的坐标为i∈[1,6]转换完之后的坐标为则$x_i^{\prime t}=x_i^t-C_x,,$$y_i^{\prime t}=y_i^t-C_y,$$z_i^{\prime t}=z_i^t-C_z;$经过处理之后，关节点所参考的坐标系就变成了以肩部中心这个关节点为原点的用户坐标系；这样对应的特征向量具有平移不变性，不受手离图像输入设备的距离以及手势起始位置的影响；1.4)、归一化处理记特征向量集合F_c中，x,y,z三个坐标分量的最大值、最小值分别为X_Max，X_Min，Y_Max，Y_Min，Z_Max，Z_Min，对每一维坐标采用线性函数进行如下处理：${\hat{x}}_i^t=(x_i^{\prime t}-X_{\mathrm{Min}})/(X_{\mathrm{Max}}-X_{\mathrm{Min}}),$${\hat{y}}_i^t=(y_i^{\prime t}-Y_{\mathrm{Min}})/(Y_{\mathrm{Max}}-Y_{\mathrm{Min}}),$${\hat{z}}_i^t=(z_i^{\prime t}-Z_{\mathrm{Min}})/(Z_{\mathrm{Max}}-Z_{\mathrm{Min}}),$则：${\hat{f}}_t^c=\{({\hat{x}}_1^t,{\hat{y}}_1^t,{\hat{z}}_1^t),({\hat{x}}_2^t,{\hat{y}}_2^t,{\hat{z}}_2^t),({\hat{x}}_3^t,{\hat{y}}_3^t,{\hat{z}}_3^t),({\hat{x}}_4^t,{\hat{y}}_4^t,{\hat{z}}_4^t),({\hat{x}}_5^t,{\hat{y}}_5^t,{\hat{z}}_5^t),({\hat{x}}_6^t,{\hat{y}}_6^t,{\hat{z}}_6^t)\};$第c类标准手势经过预处理之后的特征向量集为：${\hat{F}}_c=\{{\hat{f}}_1^c,{\hat{f}}_2^c,{\hat{f}}_3^c,...,{\hat{f}}_N^c\}$经过归一化之后的特征向量具有尺度不变性；1.5)、对特征向量集进行平滑处理考虑到本方法时间序列相邻帧变化缓慢的特点，最终选择移动平均滤波器对关节点的每一维数据进行平滑滤波；移动平均滤波基于统计规律，将连续的图像帧看成一个长度固定为N的队列，然后对这个队列进行算术运算，并将其结果作为本次滤波的结果；平滑处理的步骤为：将特征向量集中，第一个关节点的第一维坐标按帧进行平滑滤波，滤波的窗口宽度为5，即：${{\bar{x}}_1}^1={\hat{x}}_1^1$${{\bar{x}}_1}^2=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3)/3$${{\bar{x}}_1}^3=({\hat{x}}_1^1+{\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5)/5$${{\bar{x}}_1}^4=({\hat{x}}_1^2+{\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6)/5$${{\bar{x}}_1}^5=({\hat{x}}_1^3+{\hat{x}}_1^4+{\hat{x}}_1^5+{\hat{x}}_1^6+{\hat{x}}_1^7)/5$......${{\bar{x}}_1}^{N-2}=({\hat{x}}_1^{N-4}+{\hat{x}}_1^{N-3}+{\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/5$${{\bar{x}}_1}^{N-1}=({\hat{x}}_1^{N-2}+{\hat{x}}_1^{N-1}+{\hat{x}}_1^N)/3$${{\bar{x}}_1}^N={\hat{x}}_1^N$每一个关节点的每一维坐标都按上述方法进行平滑处理，经平滑处理之后，关节点的抖动被很好的处理了；1.6)、降采样为了降低手势特征向量集的元素数，对特征向量集进行二元采样，每隔一个元素提取一个元素，从而得到一个降采样特征向量集1.7)、差分处理对降采样之后的特征向量集的每一个特性向量的每一维进行一阶差分处理，用一阶差分的结果替换坐标值来描述手势随时间变化的位置特征趋势，差分如下：${\stackrel{·}{x}}_i^t={\bar{x}}_i^{t+1}-{\bar{x}}_i^t$${\stackrel{·}{y}}_i^t={\bar{y}}_i^{t+1}-{\bar{y}}_i^t$${\stackrel{·}{z}}_i^t={\bar{z}}_i^{t+1}-{\bar{z}}_i^t$式中，分别表示经过前面七步处理之后的特征向量集第t帧的第i个关节点的x，y，z坐标；第c类标准手势经过预处理之后的特征向量集为：${\stackrel{·}{F}}_c=\{{\stackrel{·}{f}}_1^c,{\stackrel{·}{f}}_2^c,{\stackrel{·}{f}}_3^c,...,{\stackrel{·}{f}}_M^c\};$1.8)、计算特征向量集中各关节的权值选择逻辑斯蒂函数来为每个关节点计算它在标准手势中的权值：$w_i^c=\frac{2}{1+e^{-(D_i^c-D_{\max }^c)/h}},i\in \left[\mathrm{1,6}\right];$其中，为关节点i的位移：$D_i^c=\underset{t=2}{\overset{M}{\Sigma }}{S}^i(f_t^c,f_{t-1}^c),$$S^i(f_t^c,f_{t-1}^c)=\sqrt{{({\stackrel{·}{x}}_i^t-{\stackrel{·}{x}}_i^{t-1})}^2+{({\stackrel{·}{y}}_i^t-{\stackrel{·}{y}}_i^{t-1})}^2+{({\stackrel{·}{z}}_i^t-{\stackrel{·}{z}}_i^{t-1})}^2}$为关节点位移i∈[1,6]中的最大值，h为单位距离，根据实际情况确定；1.9)、计算特征向量集中元素各维的权值选取特征向量集中权值最大的三个关节点α，β，γ各帧对应的三维坐标组成一个新的特征向量集：$T_c=\left\{\right\{({\stackrel{·}{x}}_{\alpha }^1,{\stackrel{·}{y}}_{\alpha }^1,{\stackrel{·}{z}}_{\alpha }^1),({\stackrel{·}{x}}_{\beta }^1,{\stackrel{·}{y}}_{\beta }^1,{\stackrel{·}{z}}_{\beta }^1),({\stackrel{·}{x}}_{\gamma }^1,{\stackrel{·}{y}}_{\gamma }^1,{\stackrel{·}{z}}_{\gamma }^1)\},...\{({\stackrel{·}{x}}_{\alpha }^M,{\stackrel{·}{y}}_{\alpha }^M,{\stackrel{·}{z}}_{\alpha }^M),({\stackrel{·}{x}}_{\beta }^M,{\stackrel{·}{y}}_{\beta }^M,{\stackrel{·}{z}}_{\beta }^M),({\stackrel{·}{x}}_{\gamma }^M,{\stackrel{·}{y}}_{\gamma }^M,{\stackrel{·}{z}}_{\gamma }^M)\left\}\right\};$分别计算特征向量集合T_c里每个关节点对应的x,y,z三维坐标的方差，其中，关节点α，β，γ的x维坐标的方差为：$D_{\alpha }^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\Sigma }}{({\stackrel{·}{x}}_{\alpha }^t-{\bar{X}}_{\alpha })}^2}$$D_{\beta }^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\Sigma }}{({\stackrel{·}{x}}_{\beta }^t-{\bar{X}}_{\beta })}^2}$$D_{\gamma }^c\left(x\right)=\sqrt{\frac{1}{M}\underset{t=1}{\overset{M}{\Sigma }}{({\stackrel{·}{x}}_{\gamma }^t-{\bar{X}}_{\gamma })}^2}$表示关节点α，β，γ在第t帧坐标的x维数据，表示特征向量集合T_c中关节点α，β，γ各自对应的所有x维坐标的平均值；当均小于阈值时，表示在标准手势中x维坐标是次要的，权值为0；当中有大于阈值的情况时，表示在标准手势中x维坐标是主要的，权值为1；对于y、z维坐标，采用同样的方法，得到其权值1.10)、构建标准手势样本库按照步骤1.1)～1.9)的方法，构造每个标准手势的特征向量集以及其中各关节点的权值、元素各维坐标的权值，生成标准手势样本库；(2)、识别阶段2.1)、采用步骤1.1)～1.7)的方法，从待识别视频中获取待识别手势的特征向量集2.2)、采用多维加权动态时间规整(MDW‑DTW)算法，计算出待识别手势的特征向量集分别与标准手势样本库中的各个标准手势的特征向量集c＝1,2,…,C的动态规整距离(相似度)，并进行比较，与待识别手势的特征向量集合动态规整距离最短(相似度最高)的特征向量集对应的标准手势类别即为待识别手势的类别，C标准手势类别总数；其中，多维加权动态时间规整算法中，代价矩阵C第(m,n)个元素s(m,n)的计算公式为：$s(m,n)=\underset{i=1}{\overset{6}{\Sigma }}\underset{j=1}{\overset{3}{\Sigma }}\sqrt{{(({\stackrel{·}{f}}_m^{\mathrm{test}}(i,j)-{\stackrel{·}{f}}_n^c(i,j))\times w_i^c\times {\hat{w}}_j^c)}^2};$为待识别手势特征向量集中第m帧图像中第i个关节点对应坐标的第j维坐标，为标准手势样本库中标准手势c的特征向量集中第n帧图像中第i个关节点对应坐标的第j维坐标，j＝1,2,3分别代表x,y,z；其中，动态规整距离为：$\mathrm{DTW}({\stackrel{·}{F}}_{\mathrm{test}},{\stackrel{·}{F}}_c)=\min \left\{\underset{k=1}{\overset{L}{\Sigma }}s(m_k,n_k)\right\};$其中，L为规整路径的长度，﹙m_k,n_k﹚为代价矩阵C中规整路径上的第k个元素坐标，分别代表待识别手势特征向量集中第m_k帧，标准手势样本库中标准手势c的特征向量集中第n_k帧。