一种基于联合检测跟踪的视频行人提取方法

摘要

针对监控视频行人目标提取问题，本发明公开了一种基于联合检测与跟踪的视频行人提取方法，包括以下步骤：首先针对监控视频的第t帧图像,采用基于检测的方法检测图像中的行人目标,检测到新目标后给新目标初始化粒子滤波行人目标跟踪器,然后更新粒子滤波行人目标跟踪器,终止跟踪失败或遮挡的行人目标跟踪器，归一化行人目标跟踪器权重，最后计算行人目标的最终位置截取对应位置的目标图像，将图像和目标的坐标、时间等信息以数据库或文件等形式保存到计算机的存储器中。本发明方法能够从监控视频中鲁棒地提取出行人目标，并将行人目标的时间、位置、图片等信息存储至计算机存储中，供后期智能分析使用。

主权项

一种基于联合检测跟踪的视频行人提取方法，其特征在于：第一步：针对监控视频的的第t帧图像，采用基于检测的方法，检测图像中的行人目标，并滤除与当前帧目标跟踪结果有重叠的检测结果；将t时刻检测得到的检测结果定义为潜在新目标i＝1,2,…,M_t，其中i为目标的编号，M_t为t时刻检测得到的目标个数，前三项对应于目标的位置和尺度，其中表示t时刻检测到的第i个目标的外接矩形框的中心在图像中的横坐标、纵坐标，外接矩形框的宽和高分别为第四项表示潜在新目标的持续出现时间，采用动态规划的方法来更新目标的${\mathrm{duration}}_t^{\left(i\right)}=1+\underset{t-\mathrm{\Delta t}\le t^{\prime }\le t-\mathrm{1,1}\le j\le M_{t^{\prime }}}{\max }(I_{\mathrm{same}}({\mathrm{pt}}_t^{\left(i\right)},{\mathrm{pt}}_{t^{\prime }}^{\left(j\right)})\times {\mathrm{duration}}_{t^{\prime }}^{\left(j\right)}),i=\mathrm{1,2},...,M_t$其中为二值函数指示了两个潜在新目标是否为同一目标：$I_{\mathrm{same}}({\mathrm{pt}}_t^{\left(i\right)},{\mathrm{pt}}_{t^{\prime }}^{\left(j\right)})=\left\{\begin{array}{cc}1,& \mathrm{if}|u_t^{\left(i\right)}-u_{t^{\prime }}^{\left(j\right)}|<{ϵ}_u,|v_t^{\left(i\right)}-v_{t^{\prime }}^{\left(j\right)}|<{ϵ}_v,|s_t^{\left(i\right)}-s_{t^{\prime }}^{\left(j\right)}|<{ϵ}_s,\\ 0,& \mathrm{else}.\end{array}\right.$表示往前追溯Δt帧，如果前Δt帧范围内的t'时刻，存在与潜在新目标相似的潜在新目标那么的持续出现时间至少是制定持续时间长度阈值init_duration，对于可能的新目标，如果其持续出现的时间达到init_duration，则定义为新目标；第二步：检测到新目标后给新目标初始化粒子滤波行人目标跟踪器，粒子的初始化采用标准的粒子滤波方式，即采用以目标当前状态为中心的正态分布进行采样，得到N个赋权样本来逼近目标状态的后验概率密度p(x_t|y_1:t)，同时建立目标的模版hist_template；其中表示了粒子对应的目标的横坐标、纵坐标和尺度，表示了粒子对应的权重；第三步：更新粒子滤波行人目标跟踪器；假设已有t‑1时刻的粒子及对应权重t时刻的粒子能够通过提议分布进行采样得到；在此采用目标运动模型作为粒子的提议分布，那么$x_t^{\left(i\right)}~p\left(x_t^{\left(i\right)}\right|x_{t-1}^{\left(i\right)})$此时粒子权重更新公式为：$w_t^{\left(i\right)}\propto w_{t-1}^{\left(i\right)}p\left(y_t\right|x_t^{\left(i\right)}),i=1,...,N$其中y_t为t时刻观察到的图像；采用多源的观察模型为：$p\left(y_t\right|x_t^{\left(i\right)})=p_{\mathrm{classifier}}\left(y_t\right|x_t^{\left(i\right)})p_{\mathrm{template}}\left(y_t\right|x_t^{\left(i\right)})$假设粒子所对应的窗口的积分通道特征为观察模型的第一项的计算公式为：$p_{\mathrm{classifier}}\left(y_t\right|x_t^{\left(i\right)})=1-\exp (-\mathrm{\beta H}\left(x_t^{\left(i\right)}\right))$其中的为窗口的分类器得分，β为常数；观察模型的第二项的计算基于目标的HSV颜色直方图，采用巴氏距离来衡量两直方图之间的差异：$\xi ({\mathrm{hist}}_1,{\mathrm{hist}}_2)=\sqrt{1-{\Sigma }_i\sqrt{{\mathrm{hist}}_1\left(i\right)·{\mathrm{hist}}_2\left(i\right)}}$假设目标的颜色直方图为hist_template、粒子所对应的窗口的颜色直方图为那么观察模型的第二项由下式给出：$p_{\mathrm{template}}\left(y_t\right|x_t^{\left(i\right)})=\exp (-\mathrm{\lambda \xi }({\mathrm{hist}}_{\mathrm{template}},{\mathrm{hist}}_t^{\left(i\right)}))$其中：λ为常数参数；第四步：行人目标的终止；跟踪失败或暂时的被遮挡等情况发生时，粒子的目标状态相似性将较低，即较小，通过设置阈值term_observation，当${\Sigma }_i{w}_{t-1}^{\left(i\right)}p\left(y_t\right|x_t^{\left(i\right)})<{\mathrm{term}}_{\mathrm{observation}}$时认为目标消失，如果目标消失时间达到term_duration，则终止该行人目标跟踪器；第五步：计算权重和进行粒子权重的归一化第六步：对所有剩余的行人目标跟踪器，目标位置为截取对应位置的目标图像，将图像和目标的坐标、时间等信息以数据库或文件形式保存到计算机的存储器中；第七步：下一帧图像，跳至步骤第一步。