基于深度核信息图像特征的人体运动跟踪方法

摘要

本发明公开了一种基于深度核信息图像特征的人体运动跟踪方法，主要解决现有技术的人体运动跟踪中对视频图像特征表示不准确，导致跟踪结果不精确的问题。其实现过程为：从数据库中获得视频图像的关节点三维坐标矩阵Y；提取处理后视频图像的深度核信息图像特征X；以提取的深度核信息图像特征X为输入，以视频图像中人体的三维坐标矩阵Y为输出，使用高斯过程学回归函数；使用高斯过程学得到的回归函数，以新的视频图像的深度核信息特征X为输入，估计出运动人体的三维姿态数据。本发明具有比现有的人体跟踪方法训练过程快，对图像特征表示准确的优点，可用于运动捕获，人机交互，视频监控，人体目标识别和三维姿势恢复。

主权项

一种基于深度核信息图像特征的人体运动跟踪方法包括如下步骤：(1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y；(2)提取训练视频图像的核图像特征x(U)：2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64×192的含有人体的矩形框体，作为之后处理的训练样本图像集U；2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向和模值其中，z为图像块中的像素点，z∈U；2c)使用方向高斯核函数k_o(·)计算不同像素点之间的角度相似度:$k_o({\overrightarrow{\theta }}_z,{\overrightarrow{\theta }}_s)=\exp (-{\gamma }_0||{\overrightarrow{\theta }}_z-{\overrightarrow{\theta }}_s|{|}^2),$其中，γ₀为方向高斯核参数，为图像块中像素点z的方向角，为图像块中像素点s的方向角，exp(·)表示求自然对数的指数函数，||·||²表示求二范数；2d)对图像块中的方向核函数进行取样，得到一组方向偏置向量其中，p_i为第i个方向偏置向量，d_o为方向偏置向量的总数，i∈[1,d_o]，则得到方向偏置基向量的高斯核函数：$k_o({\overrightarrow{\theta }}_z,p_i)=\exp (-{\gamma }_0||{\overrightarrow{\theta }}_z-p_i|{|}^2),$其中，γ₀为方向高斯核参数，为图像块中像素点z的方向角，p_i为第i个方向偏置基向量；2e)使用位置高斯核函数k_l(·)计算不同像素点之间的相似度:k_l(L_z,L_s)＝exp(‑γ_l||L_z‑L_s||²)，其中，γ_l为位置高斯核参数，L_z为图像块中像素点z的位置、L_s为图像块中像素s的位置；2f)对图像块中的位置核函数进行取样，得到一组位置偏置基向量其中，q_j为第j个位置偏置向量，d_l为位置偏置基向量的总数，j∈[1,d_l]；2g)根据偏置基向量和位置高斯核函数k_l(L_z,L_s)，得到位置偏置基向量的高斯核函数：k_l(L_z,q_j)＝exp(‑γ_l||L_z‑q_j||²)，其中,γ_l为位置高斯核参数，L_z为图像块中像素点z的位置，q_j为第j个位置偏置基向量；2h)根据像素点z的模值方向偏置基向量的高斯核函数以及位置偏置基向量的高斯核函数k_l(L_z,q_j)，得到整个图像集U的核图像特征x(U)：$x\left(U\right)=\underset{i=1}{\overset{d_o}{\Sigma }}\underset{j=1}{\overset{d_l}{\Sigma }}{\alpha }_{ij}\left\{\underset{z\in U}{\Sigma }{\overrightarrow{m}}_z{k}_o({\overrightarrow{\theta }}_z,p_i)k_l(L_z,q_j)\right\},$其中，∑·表示求和，α_ij为核投影系数，d_l为位置偏置向量的总数，d_o为方向偏置向量的总数，z为图像中的像素点，为像素点z的方向，为像素点z的模值，p_i为第i个方向偏置向量，q_j为第j个位置偏置向量，L_z为图像块中像素点z的位置；(3)使用块匹配方法提取训练视频图像的深度信息D；(4)将深度信息D与核图像特征x(U)相加，得到深度核信息图像特征X；X＝D+x(U)；(5)使用深度核信息图像特征X进行人体运动姿势的跟踪,对输入视频图像进行三维运动姿势估计，并将估计到的三维运动姿势数据恢复成关节点骨架作为最终的跟踪结果。