基于第二代条带波变换和极速学机的人体运动跟踪方法

摘要

本发明公开了一种基于第二代条带波变换和极速学机的人体运动跟踪方法，主要解决现有技术的人体运动跟踪中对视频图像特表示不准确和学回归函数时间复度高，跟踪结果不准确的问题。其实现过程为，首先预处理视频图像，获得原始关节点三维坐标矩阵Y；提取处理后视频图像的第二代条带波变换Bandlet2图像特征X；以提取的Bandlet2图像特征X为输入，视频图像中人体的三维坐标矩阵Y为输出，使用极速学机学回归函数；使用极速学机学得到的回归函数，以新的视频图像的bandlet2特征X为输入，估计出运动人体的三维姿态数据。本发明较之现有的人体跟踪方法训练过程快，对图像特征表示准确，可用于运动捕获，人机交互，视频监控，人体目标识别和三维姿势恢复。

主权项

1.一种基于第二代条带波变换和极速学习机的人体运动跟踪方法，包括如下步骤： （1）从原始的视频图像中获得人体关节点的三维坐标矩阵Y； （2）提取原始视频图像的第二代条带波变换Bandlet2图像特征X： 2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本； 2b)对提取后的每个训练样本图像进行二维离散正交小波变换，小波变换的层数为M，其中M=1,变换后得到小波采样系数f； 2c）对小波变换后的图像，采用四叉树划分和自底向上融合法则，按4*4像素大小，将图像划分为768个子图像块； 2d）对步骤2b)获得的小波采样系数f，做一维离散变换，得到一维离散变换系数f_θ； 2e）对得到的一维离散变换系数f_θ进行量化，得到量化后的一维离散变换系数，其中，T为量化阈值，sign(·)是符号函数，T=15，q∈Z； 2f)将一维离散变换系数在各方向上做投影，寻找投影误差最小的方向作为量化后图像块的最优几何流方向d；2g）将一维离散变换系数在最优几何流方向d上的一维离散变换系数存储在一个二维矩阵W中，获得整幅图片的第二代条带波变换Bandlet2系数矩阵W；2h）提取第二代条带波变换Bandelt2系数矩阵W在最大几何流方向的统计特征作为最后图像的第二代条带波变换Bandlet2图像特征X； （3）使用极速学习机学习一个从第二代条带波变换Bandlet2特征X到人体关节点三维坐标Y的映射关系g(·)，使用g(·)将第j帧的三维姿势y_j用第j帧的第二代条带波变换Bandlet2特征x_j表示，即： y_j＝g(x_j)， 其中，Y＝{y₁,...y_j,...y_n}，X＝{x₁,...x_j,...x_n}，j∈[1,n]，n为训练视频图像帧数； （4）利用学习到的映射关系对新的视频序列做人体运动跟踪： 4a）对新的人体运动视频图像序列，按照步骤（2）提取该视频图像序列的第二代条带波变换Bandlet2特征集X'，使用步骤（3）中学习到的映射关系g(·)，以第j帧的第二代条带波变换Bandlet2特征x'_j为输入，则该视频序列的第j帧的三维姿势数据y'_j，通过下式得到： y'_j＝g(x'_j)， 其中，X'＝{x'₁,...x'_j,...x'_n}，j∈[1,n]，n为该视频图像帧数； 4b)重复步骤4a)，获得全部视频图像三维姿态数据，Y'＝{y'₁,...y'_j,...y'_n}，j∈[1,n]，n为该视频图像帧数； 4c)将三维人体运动姿势数据Y'＝{y'₁,y'₂,...y'_n}，转换为人体骨架关节点，恢复出输入视频的三维运动姿势； 上述步骤（3）中所述的使用极速学习机学习一个从第二代条带波变换Bandlet2特征X到人体关节点三维坐标Y的映射关系g(·),按如下步骤进行： 3a)确定从第二代条带波变换Bandlet2特征X到人体关节点三维坐标Y的映射关系g(·)形式： 其中，y_j为视频图像第j帧的三维关节点坐标，x_j为视频图像第j帧的第二代 条带波变换Bandlet2图像特征表示，j∈[1,n]，n为视频帧数，N为极速学习机中需要设定的隐节点个数，N＝5000，G(·)为隐节点输出函数，β_i为第i个隐节点输出函数的权重，a_i、b_i为隐节点参数， 对整个视频序列可以将上式写成一个统一的形式： Y＝H·β， 其中，Y＝{y₁,...y_j,...y_n}，为整个视频序列的三维坐标矩阵，n为该视频图像帧数，β为隐节点输出函数权重矩阵，β={β₁,...β_i,...β_N}^T，H为隐节点输出函数G(·)的输出矩阵； 3b)对隐节点参数a_i、b_i随机赋值，其中，i＝1,...5000； 3c)计算隐节点输出函数G(·)的输出矩阵H： 其中，n为该视频图像帧数,N为极速学习机中需要设定的隐节点个数，N＝5000，a_i、b_i为隐节点参数,i＝1,...5000； 3d)计算隐节点输出函数权重矩阵β： β=H^-1Y， 其中，β={β₁,...β_i,...β_N}，Y＝{y₁,...y_j,...y_n}，(·)^-1表示矩阵求逆，N为极速学习机中需要设定的隐节点个数，N＝5000，n为该视频图像帧数。