一种基于多级检测的行人检测与跟踪方法

摘要

一种基于多级处理的行人检测与跟踪方法，包括如下步骤：1)提取背景帧并预处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，将差分图像灰度值与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；3)利用行人的外形特征对目标区域进行初步的判断；4)对于判定为似目标区域的矩形区域Rn个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪。本发明计算速度较快、实时性良好、实用性较强。

主权项

一种基于多级处理的行人检测与跟踪方法，其特征在于：所述检测与跟踪方法包括如下步骤：1)提取背景帧并预处理，将输入的第一帧视频作为初始化背景图像帧，并对输入的每一帧原始图像帧进行图像预处理，对于不同尺寸的视频要进行归一化处理；2)提取前景区域并用矩形框标注，用当前帧与背景图像帧进行差分，提取出前景信息并进行二值化处理，用外轮廓标记每一个连通的前景区域，对每一个轮廓区域画出最小外接矩形，记录所有矩形的尺寸信息，矩形区域用R_n表示，其尺寸信息包括长度H_n、宽度W_n、角度为λ_n；前景提取公式：Δd_t(x,y)＝|I_t(x,y)‑B_t(x,y)|其中Δd_t(x,y)、I_t(x,y)、B_t(x,y)分别表示t时刻的差分图像、当前帧图像、背景图像在(x,y)处的灰度值，将差分图像灰度值d_t(x,y)与阈值T对比，大于T的部分即确定为运动对象部分，否则为背景部分；$d_t(x,y)=\left\{\begin{array}{cc}0,& d_t(x,y)<T\\ 1,& d_t(x,y)\ge T\end{array}\right.$3)目标区域的初步判定，利用行人的外形特征对目标区域进行初步的判断，包括设置矩形长轴与短轴长度比例的阀值L₁、L₂，长轴与地面夹角的阀值A，对于在阀值范围内的矩形区域划初步分为似目标区域，其他矩形区域划分为非目标区域丢弃；$R_n=\left\{\begin{array}{cc}1,& if{L}_1<\frac{H_n}{W_n}<L_2{\mathrm{and\lambda }}_n<A\\ 0,& otherwise\end{array}\right.$其中L₁、L₂、A为设定值，R_n表示是否为目标区域，1表示为目标区域，0表示非目标区域；4)目标区域的最终判定，对于判定为似目标区域的矩形区域R_n个数进行统计，并先采用基于HOG特征的行人检测算法排除非目标区域，然后采用光流法对剩余的目标区域进行跟踪；采用改进的Lucas‑Kanade算法进行光流估计，设上一帧为F_n，当前帧为F_n+1，上一帧中含有X个目标区域，当前帧中含有Y个目标区域，分别以这些区域的矩形框为边界将目标区域转换成目标图像帧，分别为F_n＝{F_n,1,F_n,2,…F_n,X}和F_n+1＝{F_n+1,1,F_n+1,2,…F_n+1,Y}，根据矩形框大小计算出中心点分别为C_n＝{C_n,1,C_n,2,…C_n,X}和C_n+1＝{C_n+1,1,C_n+1,2…C_n+1,Y}，然后以C_n中的点集作为光流特征点集，分别对C_n+1中的目标位置点集进行光流金字塔计算，最终从C_n+1中找出与C_n中各点相对应的特征点进行匹配，匹配成功后映射到F_n+1对应位置并以F_n+1中目标区域的中心点集为光流特征点集对下一帧进行匹配，如此迭代下去；利用Lucas‑Kanade算法进行跟踪的流程如下：4.1)初始化需要跟踪的特征点，本文中即为C_n；4.2)计算两帧的光流金字塔，根据两帧之间的光流来计算初始化特征点所对应的目标点，即需要跟踪的点；4.3)显示特征点和运动轨迹，把输入输出点进行互换，上一帧与目前帧互换以及上一帧与当前帧金字塔互换，进行下一次跟踪；其中，光流金字塔的计算采用OpenCV提供的函数cvCalcOpticalFlowPyrLK()实现。