一种基于组合特征的行人检测方法

摘要

本发明一种基于组合特征的行人检测方法，将一定数量、尺寸相同的训练样本，该训练样本包括包含行人的正样本和随机截取一些不包含行人的背景的负样本；对所述的训练样本提取统计结构梯度特征，然后送入支持向量机中训练得到一个分类器，然后使用级联结构训练一个n层的级联分类器，得到一个离线的级联分类器作为最终的判别行人的分类器，通过该分类器去检测图像或视频中的行人，并将其标注出来；能准确描述行人且计算简单，能够很好地平衡检测精度与检测速度。

主权项

一种基于组合特征的行人检测方法，其特征在于：分为训练过程和检测过程，先离线训练一个判别行人的级联分类器，然后通过该级联分类器去检测图像中是否有行人，如果判断有行人则将其标注出来；所述的训练过程具体包括如下步骤：步骤11、从包含行人的图像中截取大小为A*B包含行人的窗口作为正样本，n个正样本形成正训练样本集；随机截取大小为A*B不包含行人的窗口作为负样本，m个负样本形成初始负训练样本集，选取h张场景较复杂但不包含行人的图片作为负样本替换集的初始内容；步骤12、在提取正、负训练样本集中所有训练样本的统计结构梯度特征(SSGF)后，将正样本标签置为+1，负样本标签置为‑1，设置训练次数初始值t为0，统计结构梯度特征提取包括：步骤121、对训练样本(I)求取sobel梯度图像(G)，并计算梯度图像(G)中的幅值G：其中sobel模板采用：$\begin{array}{cc}gx=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]& gy=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}$则幅值$G=\underset{{}_{k\in channel\left(I\right)}}{max}({\mathrm{gx}}_k*{\mathrm{gx}}_k+{\mathrm{gy}}_k*{\mathrm{gy}}_k)$步骤122、为了实现人体边缘轮廓的连续性，对sobel梯度图像(G)求取LBPU结构图(SG)；LBPU结构图计算公式：${\mathrm{LBP}}_{P,R}=\underset{P=0}{\overset{P-1}{\Sigma }}s(g_p-g_c)2^p$$s\left(x\right)=\left\{\begin{array}{cc}1& x\ge 0\\ 0& other\end{array}\right.$其中P表示邻域像素的个数，g_c表示中心像素的灰度值，g_p表示中心相邻的像素灰度值，设置p＝8,R＝2；步骤123、沿人体边缘轮廓梯度方向，对sobel梯度图像(G)求取自然梯度图(NG)：sobel梯度图像(G)中每一点都存在四个方向的梯度，分别为135°(①)，90°(②)、45°(③)、0°(④)，每个方向上存在一个标志位Flag，当且仅当同一方向上的三个像素强度按顺序排列时，将Flag＝True，否则置为False；步骤124、按照步骤123的计算方法，sobel梯度图像(G)每一点可以表示为四个方向的梯度向量，将自然梯度图(NG)按四个方向分割开，分别计算四个方向的自然梯度积分图；步骤125、按照训练样本去除边界后的大小作为检测窗口的大小，对检测窗口进行分块处理,其中每一个块大小为16*20，包含4个cell，大小为8*10；以一个cell大小为步长、一个块大小的窗口在检测窗口中滑动，在每个块中搜集特征，统计一个块中LBPU的直方图，记做一个59维的块结构特征，然后统计对应块中每个cell的自然梯度累加和，每个cell为一个4维的向量，从左到右顺序连接4个cell，形成一个16维的自然梯度直方图，则一个块可以表示为一个75维的向量，按一个cell大小为步长滑动整个检测窗口后得到一个3750维的特征向量，从而融合结构特征与自然梯度特征形成统计结构梯度特征；步骤13、将所有正负训练样本的统计结构梯度特征和对应的样本标签送入支持向量机中进行训练，设定支持向量机的训练参数：C＝0.01,核函数kernel(x₁，x₂)＝x₁*x₂；依照训练次数t，分别得到t个分类器H_t,然后将分类器H₁、分类器H₂、分类器H₃、…、分类器H_t排列组合成级联分类器，每级分类器的判定门限为θ；步骤14、检测窗口经过级联分类器逐级判断皆为有行人时，则接受该检测窗口，一旦其中一个分类器判断检测窗口内没有行人就拒绝该检测窗口；利用当前级联分类器在预置的负样本替换集中搜寻困难样本，所述的困难样本是指当前级联分类器将无行人的检测窗口判别为有行人时的负样本，终止条件如下：步骤141、经过步骤13后，若当前m个负样本中被当前级联分类器正确分类的m1个负样本将被丢弃，相应地搜寻m1个困难样本加入负训练样本集中；被当前级联分类器判断为正样本的将被保留下来作为困难样本进入下一轮训练，返回步骤13；当m个负样本全部成为困难样本时停止搜索，终止本轮训练；步骤142、对负样本替换集中每个替换样本构建一组5种尺度缩放因子为0.8的倍数的金字塔图像，然后让检测窗口在金字塔图像上扫描，使用当前级联分类器判断该检测窗口中是否含有行人，若判断存在行人，则执行步骤141，否则一直搜索到负样本替换集穷尽为止，然后终止本轮训练；步骤15、训练次数t＝t+1，重复步骤13至步骤14，得到最终级联分类器；所述的检测过程具体包括如下步骤：步骤21、根据待检测图像构建金字塔图像，尺度缩放因子为0.8；步骤22、计算金字塔图像中的LBPU结构图和自然梯度图，以及结构特征积分图和梯度特征积分图；对统计结构梯度特征进行计算并与分类器的门限值进行比较，公式为：result＝w^T*f≥θ其中，w为分类器，f为特征向量，θ为分类器的判定门限；其中，统计结构梯度特征计算分为结构特征计算和自然梯度特征计算，即：$w^T*f={\left[\begin{array}{cc}{w}^1& w^2\end{array}\right]}^T\left[\begin{array}{c}{f}^1\\ f^2\end{array}\right]={\left(w^1\right)}^T*f^1+{\left(w^2\right)}^T*f^2$其中，w¹为结构特征分类器，w²为自然梯度特征分类器，f¹为结构特征，f²为自然梯度特征；所述的结构特征积分图为：对于图像中任意一点(x₀,y₀)$\begin{array}{c}{w}^1*f^1=\underset{i=1}{\overset{10}{\Sigma }}\underset{j=1}{\overset{5}{\Sigma }}{w}_{i,j}^1{f}_{i,j}^1\\ =\underset{i=1}{\overset{10}{\Sigma }}\underset{j=1}{\overset{5}{\Sigma }}\underset{x=0}{\overset{2*h-1}{\Sigma }}\underset{y=0}{\overset{2*w-1}{\Sigma }}{w}_{i,j}^1\left(val\left(x+\left(i-1\right)*h+x_0,y+\left(j-1\right)*w+y_0\right)\right)\end{array}$其中，val(x,y)为(x,y)点的LBPU值，w¹_ij(val(x,y))为(x,y)点的权重，令：$A(x,y)=\underset{i=1}{\overset{10}{\Sigma }}\underset{j=1}{\overset{5}{\Sigma }}{w}_{i,j}^1\left(val(x,y)\right)---\left(4\right)$表示对应每个分块中对应(x,y)点的权重都累加到了A(x,y)上，将公式(4)中前后两个求和符号交换可以得到$w^1*f^1=\underset{x=x_0}{\overset{x_0+2h-1}{\Sigma }}\underset{y=y_0}{\overset{y_0+2w-1}{\Sigma }}A(x,y)$遍历一遍该图像形成一个整幅图像的结构特征积分图；所述的梯度特征积分图为：任意一点(x,y)，可以用一个4维的向量表示$\begin{array}{cc}ii(x,y,i)=\underset{x^{\prime }\le x,y^{\prime }\le y}{\Sigma }i(x^{\prime },y^{\prime },i)& i\in \{0,1,2,3\}\end{array}---\left(6\right)$因此可以通过式(6)构建一个4维的梯度特征积分图；步骤23、检测窗口在金字塔图像中滑动，通过训练好的级联分类器对检测窗口进行判断，如果该检测窗口中的计算值result大于等于当前分类器的判定门限θ，则判定为行人，记录此时图像的尺度和位置；步骤24、扫描完整个金字塔图像后，对判定为行人位置的检测窗口进行融合，最终用矩形框将行人在图像上标注出来。