基于运动信息和轨迹关联的视频行人检测和跟踪方法

摘要

本发明提供一种基于运动信息和轨迹关联的视频行人检测和跟踪方法。行人检测：用帧差法检测运动，并结合数字图像处理中的形态学方法，先检测出视频中的运动区域，然后在运动区域中采取滑窗搜索的方式提取特征，并用预先训练好的行人检测分类器，分类最终得到分类结果。跟踪方法：利用上一步骤得到的行人检测结果作为本步骤的输入，开始时为每一个检测到的行人初始化一个跟踪器，每个跟踪器包含目标的历史运动信息和外观信息。处理当前帧时，对输入的每一个检测结果，提取位置信息和外观信息，并以此为依据建立关联矩阵，来关联之前帧的跟踪目标，最终得到行人的跟踪轨迹。本发明具有良好的实时性，在较复杂的场景中也有良好的鲁棒性。

主权项

基于运动信息和轨迹关联的视频行人检测和跟踪方法，其特征在于，包括以下步骤：步骤1：行人检测分类器训练在带检测与跟踪的应用场景中截取包含行人的各种姿态的行人作为正样本，把场景背景当作负样本，对每一个正负样本提取积分通道特征作为样本的训练特征输入分类器进行训练得到训练好的行人检测分类器；积分通道特征为LUV颜色空间上的L、U、V三个颜色通道加上7个梯度方向通道组成的特征；步骤2：行人检测步骤2‑1对连续三帧图片，当前帧I(k)分别与前一帧I(k‑1)和后一帧I(k+1)分别相减，对2个相减结果进行与操作，再对与操作结果进行连通域填充和闭操作得到运动区域图片；步骤2‑2利用运动区域图片对当前帧进行掩模操作得到运动分割后的图像I；步骤2‑3在图像I上用矩形窗来滑动搜索提取特征输入训练好的行人检测分类器中判断是否存在行人，若存在，则记录矩形框位置，滑动搜索完毕后对记录的矩形框进行融合得到当前帧的行人检测结果；基于轨迹关联的视频行人跟踪方法流程，如附图2所示，包括以下步骤：步骤3：行人跟踪步骤3‑1对于当前帧行人检测结果中每一个行人进行判断，是否为首次跟踪行人，如是，则进行轨迹初始化后进入步骤3‑2，如否，则直接进入步骤3‑2；第t帧时的第i个行人表示为xⁱ＝(pⁱ,sⁱ,vⁱ)，其中p,s,v分别表示目标的位置坐标、长宽大小、运动速度，轨迹为从第1帧到第t帧的轨迹集合，t_s表示最早出现的行人的轨迹起始帧号为第s帧，t_e表示最晚出现的行人的轨迹起始帧号为第e帧；步骤3‑2求相似度投影矩阵：取当前帧的置信度高的轨迹为训练样本，提取样本的HSV颜色空间的三个颜色通道的颜色直方图作为特征向量，若行人xⁱ提取到的特征向量为轨迹Tⁱ是包含N帧中行人xⁱ的集合，则其特征向量提取公式为：$f_{T^i}=\frac{1}{N}{\mathrm{\Sigma f}}_{x^i},x^i\in T^i$选取训练样本集为S＝{f_i,y_i}，其中f_i为第i个样本的特征向量，y_i为样本i所属类别；根据训练样本计算类间离散矩阵S_b和类内离散矩阵S_t：$S_b=\underset{i=1}{\overset{C}{\Sigma }}(m_i-\mu ){(m_i-\mu )}^T,S_t=\underset{i=1}{\overset{C}{\Sigma }}(f_i-\mu ){(f_i-\mu )}^T$其中，C代表样本类别总数，m_i为第i类特征值均值，μ为全局特征值均值,(·)^T表示矩阵转置；(f_i‑μ)^T利用类间离散矩阵S_b和类内离散矩阵S_t得到投影矩阵U：$U=\underset{U}{\mathrm{argmax}}\left|\frac{U^T{S}_{b}U}{U^T{S}_{t}U}\right|$步骤3‑3根据投影矩阵U计算行人和轨迹的相似度：$\Lambda (f_{T^i},f_{x^i})=\frac{(U^T{f}_{T^i}·U^T{f}_{x^i})}{\left|\right|U^T{f}_{T^i}\left|\right|\left|\right|U^T{f}_{x^i}\left|\right|}$其中Λ(Tⁱ,xⁱ)就是第i轨迹Tⁱ和第i行人xⁱ之间的相似度值，和分别为第i个轨迹的特征向量和第i个行人的特征向量，U为投影矩阵,||·||为二范数。步骤3‑4对检测到的行人进行局部关联，局部轨迹关联代价矩阵S：S＝[s_ij]_h×n,s_ij＝‑log(Λ(Tⁱ,x^j))i∈[0..h],j∈[0..n]其中，当前帧为第t帧时，h为第t帧的轨迹数，n为第t帧的检测的行人数，Tⁱ代表第i条轨迹，x^j表示第j个检测到行人，s_ij表示代价矩阵S在第i行第j列的值，即轨迹Tⁱ和行人x^j的关联代价值；步骤3‑5计算轨迹置信值conf(Tⁱ)：根据轨迹的历史信息，包括轨迹的长度、遮挡程度、相似度计算轨迹的置信值conf(Tⁱ)：$conf\left(T^i\right)=\left(\frac{1}{L}\Sigma \Lambda \right(T^i,x^i\left)\right)\times max\left(\right(1+\beta ·log\left(L-w\right)/L),0)---(1-1)$其中L为轨迹Tⁱ的长度，Λ(Tⁱ,xⁱ)为行人xⁱ和轨迹Tⁱ的相似度，w为该轨迹目标未检测到的帧数，β为调节参数，conf(Tⁱ)得到的值越大代表置信度越高。步骤3‑6对小轨迹进行全局关联，我们定义关联代价矩阵G为：$G=\left[\begin{array}{cc}-\log \left(\Lambda \right(f_{T^i},f_{T^j}\left)\right)& -\log (1-conf(T^i\left)\right)\\ -log\left(\theta \right)& -\log \left(\Lambda \right(f_{T^i},f_{x^i}\left)\right)\end{array}\right]---(1-2)$表示两条小轨迹Tⁱ和T^j之间的相似度值；$\Lambda (f_{T^i},f_{T^j})=\frac{(U^T{f}_{T^i}·U^T{f}_{T^j})}{\left|\right|U^T{f}_{T^i}\left|\right|\left|\right|U^T{f}_{T^j}\left|\right|}$conf(Tⁱ)为轨迹Tⁱ置信值；步骤3‑7返回步骤2进行下一帧的检测与跟踪。