基于在线序贯极限学机的递增式人体行为识别方法

摘要

一种基于在线序贯极限学机的递增式人体行为识别方法，该方法基于所有人的活动范围能够用摄像机捕捉到人体；包括以下步骤：（1）采用3D Harris角点检测子提取视频中的时空兴趣点；（2）利用3D SIFT描述子计算检测到的时空兴趣点的描述子；（3）采用K-means聚类算法生成视频词典，建立视频图像的词包模型；（4）用得到视频词包模型训练在线序贯极限学机分类器；（5）利用在线序贯极限学机分类器进行人体行为识别，并进行在线学。该方法不但能够在训练样本很少的情况下，以较少的训练时间，获得较为精确的人体行为识别结果，而且对于环境场景变化、环境光照变化、检测对象变化、人体形态变化具有一定的不敏感性。

主权项

一种基于在线序贯极限学习机的递增式人体行为识别方法，其特征是，基于以下条件：在静态背景环境下，人的活动范围能够用摄像机捕捉到；具体包括以下步骤：(1)采用3D Harris角点检测子提取视频中的时空兴趣点，定义角函数在时间和空间同时取得局部最大的极值点为空兴趣点；(2)利用3D SIFT描述子计算检测到的时空兴趣点的描述子；(3)采用K‑means聚类算法生成视频词典，建立视频图像的词包模型；(4)用得到视频词包模型训练在线序贯极限学习机分类器；(5)利用在线序贯极限学习机分类器进行人体行为识别，并进行在线学习；所述步骤(1)的具体实现方法是：3D Harris检测子是将Harris角点检测子从空间(x,y)扩展到时空(x,y,t)得到的，定义的时空角函数为：H＝det(μ)‑ktrace³(μ),H>0，其中，时空二阶矩$\mu (·;{\sigma }_l,{\tau }_l)=g(·;{\sigma }_i,{\tau }_i)*(▿L(·;\sigma ,\tau ){(▿L(·;\sigma ,\tau ))}^T),$上标T表示矩阵转置，σ_l,τ_l分别为局部空间和时间尺度，σ_i＝sσ_l和τ_i＝sτ_l为集成尺度，i表示集成，系数s把局部空间和时间尺度σ_l,τ_l转变为集成尺度σ_i,τ_i，s的取值范围为(0,1)，g(x,y,t；σ²,τ²)为高斯平滑函数，σ,τ分别为空间和时间尺度：$g(x,y,t;{\sigma }^2,{\tau }^2)=\frac{1}{\sqrt{{\left(2\pi \right)}^3{\sigma }^4{\tau }^2}}\times \exp (-(x^2+y^2)/2{\sigma }^2-t^2/2{\tau }^2),$是时空梯度：$(▿L(·;\sigma ,\tau ){(▿L(·;\sigma ,\tau ))}^T)=\left(\begin{array}{ccc}{L}_x^2& L_x{L}_y& L_x{L}_t\\ L_x{L}_y& L_y^2& L_y{L}_t\\ L_x{L}_y& L_y{L}_t& L_t^2\end{array}\right),$其中，$L_x(.;{\sigma }_l^2,{\tau }_l^2)={\partial }_x(g*f),$$L_y(.;{\sigma }_l^2,{\tau }_l^2)={\partial }_y(g*f),,$$L_t(.;{\sigma }_l^2,{\tau }_l^2)={\partial }_t(g*f).$其中，f:R²×R→R为构造函数，L_x、L_y和L_t分别为视频图像上三维时空点(x,y,t)在x,y,t方向上的梯度；通过寻找角函数在时间和空间同时取得局部最大的极值点来检测时空兴趣点；所述步骤(2)的具体实现方法是：通过在方向直方图中增加一个深层维度，将2D SIFT描述子(x,y)扩展到3D SIFT描述子(x,y,t)，梯度值的计算公式为：$m_{3D}(x,y,t)=\sqrt{L_x^2+L_y^2+L_t^2},$θ(x,y,t)＝tan^‑1(L_y/L_x)，$\phi (x,y,t)={\tan }^{-1}\left(\frac{L_t}{\sqrt{L_x^2+L_y^2}}\right),$m_3D(x,y,t)为三维时空点(x,y,t)的梯度值，θ(x,y,t)＝tan^‑1(L_y/L_x)和分别表示二维梯度方向角和偏离二维梯度方向角，L_x、L_y和L_t分别为视频图像上三维时空点(x,y,t)在x,y,t方向上的梯度，其中：L_x≈L(x+1,y,t)‑L(x‑1,y,t)，L_y≈L(x,y+1,t)‑L(x,y‑1,t)，L_t≈L(x,y,t+1)‑L(x,y,t‑1))，L(x,y,t)表示视频图像在三维时空点(x,y,t)上的灰度值；这样，时空兴趣点三维邻域内的每个像素点有θ(x,y,t)和φ(x,y,t)两个值表示其时空梯度方向，将时空兴趣点的三维邻域分成大小相等的块，通过直方图统计找到时空兴趣点的主方向(θ^*,φ^*)，所有时空兴趣点周围的三维邻域按照主方向旋转角度使得描述子具有旋转不变性，旋转矩阵定义如下：$\left[\begin{array}{ccc}\cos \left({\theta }^{*}\right)\cos \left({\phi }^{*}\right)& -\sin \left({\theta }^{*}\right)& -\cos \left({\theta }^{*}\right)\sin \left({\phi }^{*}\right)\\ \sin \left({\theta }^{*}\right)\cos \left({\phi }^{*}\right)& \cos \left({\theta }^{*}\right)& -\sin \left({\theta }^{*}\right)\sin \left({\phi }^{*}\right)\\ \sin \left({\phi }^{*}\right)& 0& \cos \left({\phi }^{*}\right)\end{array}\right],$将时空兴趣点邻域划分成子区域，在子区域中每个像素点包含着一个梯度值和两个方向信息，对于每一个三维子区域，用以时空兴趣点为中心的Gaussian窗加权梯度值，作为相应梯度方向子区域的梯度值。