发明名称 一种基于Online Boosting的粒子滤波行人目标跟踪方法
摘要 一种基于Online Boosting的粒子滤波跟踪方法,属于目标跟踪或图像处理技术。本发明通过对跟踪环境中具体情形进行分析,对跟踪行人相互遮挡建立遮挡矩阵,构成粒子滤波模型的中的加权因子,以此来对遮挡行人进行有效刻画,同时在改进的粒子滤波模型中,利用了Online Boosting实时更新刻画目标的优点,对跟踪过程中偏离目标进行了有效的抑制,能够有效的避免目标跟踪过程漂移的发生,使得跟踪更加的准确和鲁棒。本发明充分有效利用了行人运动过程的有效信息,在下一时刻行人目标跟踪时,在目标周围区域进行粒子重建,使得模型能很快地收敛,计算速度快,跟踪准确,同时,本方法对噪声具有较强的鲁棒性,算法稳定性较高。
申请公布号 CN106485283A 申请公布日期 2017.03.08
申请号 CN201610911390.7 申请日期 2016.10.19
申请人 电子科技大学;电子科技大学成都研究院 发明人 曹宗杰;罗远庆;陆川;廖丹;张明;张力;闵锐;李晋
分类号 G06K9/62(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 电子科技大学专利中心 51203 代理人 张杨
主权项 一种基于Online Boosting的粒子滤波行人目标跟踪方法,该方法步骤如下:步骤1:提取目标先验信息步骤1‑1:采用公共数据集构建目标训练模型;利用现有公共数据集分别提取行人的梯度直方图特征和Luv颜色空间特征,然后进行特征融合,采用SVM(支持向量机)进行训练,得到行人分类器g(x);步骤1‑2:对需要检测的图像,采用滑动窗口方法检测目标;对初始帧采用滑动窗口方法,检测需要跟踪的行人目标,提取目标区域tr<sub>k</sub>,其中k为检测到的第k个行人;步骤2:建立Online Boosting模型步骤2‑1:构建弱分类器:采用LBP特征或者梯度直方图特征构建弱分类器;具体为:对于LBP特征,采用近邻学习生成一个距离函数D(·),建立弱分类器:<maths num="0001"><math><![CDATA[<mrow><msubsup><mi>h</mi><mi>j</mi><mrow><mi>w</mi><mi>e</mi><mi>a</mi><mi>k</mi></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>s</mi><mi>i</mi><mi>g</mi><mi>n</mi><mrow><mo>(</mo><mi>D</mi><mo>(</mo><msub><mi>f</mi><mi>j</mi></msub><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><msub><mi>p</mi><mi>j</mi></msub><mo>)</mo><mo>-</mo><mi>D</mi><mo>(</mo><msub><mi>f</mi><mi>j</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><msub><mi>n</mi><mi>j</mi></msub><mo>)</mo><mo>)</mo></mrow>]]></math><img file="FDA0001134043390000011.GIF" wi="937" he="87" /></maths>其中,p<sub>j</sub>和n<sub>j</sub>分别表示正、负样本的聚类中心,x目标向量、j表示目标的编号、f<sub>j</sub>(x)为目标投影函数、sign(·)符号函数,对于Hog特征,可以找出行人和非行人的特征分布,然后简单地确定θ,利用下式即可:<maths num="0002"><math><![CDATA[<mrow><msub><mi>h</mi><mi>j</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mtable><mtr><mtd><mrow><mi>i</mi><mi>f</mi></mrow></mtd><mtd><mrow><msub><mi>&beta;</mi><mi>j</mi></msub><mi>f</mi><mo>&lt;</mo><msub><mi>&beta;</mi><mi>j</mi></msub><mi>&theta;</mi></mrow></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mrow><mo>-</mo><mn>1</mn></mrow></mtd><mtd><mrow><mi>e</mi><mi>l</mi><mi>s</mi><mi>e</mi></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0001134043390000012.GIF" wi="493" he="143" /></maths>其中,β<sub>j</sub>为偏置项,θ为阈值;步骤2‑2:训练强分类器;用上述弱分类器构成多个选择子(Selctors),每个选择子包含多个弱分类器,利用步骤一得到的目标区域进行初始化,在每一个选择子中选择最小错误率的弱分类器,同时计算权重,最后利用下式组合成强分类器h<sup>strong</sup>(x)=sign(conf(x))<maths num="0003"><math><![CDATA[<mrow><mi>c</mi><mi>o</mi><mi>n</mi><mi>f</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>&alpha;</mi><mi>j</mi></msub><mo>&CenterDot;</mo><msubsup><mi>h</mi><mi>j</mi><mrow><mi>s</mi><mi>e</mi><mi>l</mi></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001134043390000013.GIF" wi="493" he="134" /></maths>其中,conf(x)为最后检测的可信度,以此可信度作为粒子滤波器权值的部分参数,就可以对目标进行检测跟踪;<img file="FDA0001134043390000021.GIF" wi="141" he="70" />表示选择子,α<sub>j</sub>表示加权系数;步骤3:对遮挡行人进行建模,假设目标i被目标j遮挡,如下:步骤3‑1:对两个目标的重叠区域进行积分,公式为:z<sub>ij</sub>=∫N<sub>i</sub>(t)·N<sub>j</sub>(t)dt其中,<img file="FDA0001134043390000022.GIF" wi="422" he="71" />其中c<sub>i</sub>第i个目标均值,C<sub>i</sub>为方差;上式的积分结果为一个高斯函数:z<sub>ij</sub>=N(t<sub>i</sub>;t<sub>j</sub>,C<sub>ij</sub>),其中C<sub>ij</sub>=C<sub>i</sub>+C<sub>j</sub>,关注的遮挡时的重叠区域,采用下式来进行计算<maths num="0004"><math><![CDATA[<mrow><msub><mi>V</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><msup><mrow><mo>&lsqb;</mo><mrow><msub><mi>c</mi><mi>i</mi></msub><mo>-</mo><msub><mi>c</mi><mi>j</mi></msub></mrow><mo>&rsqb;</mo></mrow><mi>T</mi></msup><msubsup><mi>C</mi><mrow><mi>i</mi><mi>j</mi></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mo>&lsqb;</mo><mrow><msub><mi>c</mi><mi>i</mi></msub><mo>-</mo><msub><mi>c</mi><mi>j</mi></msub></mrow><mo>&rsqb;</mo><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001134043390000023.GIF" wi="739" he="135" /></maths>其中:C<sub>ij</sub>为i和j重叠区域,V<sub>ij</sub>为协方差,c<sub>j</sub>为第j个目标均值;步骤3‑2:定义目标的遮挡矩阵为:Φ=(Φ<sub>ij</sub>)<sub>i,j</sub>其中Φ<sub>ij</sub>=σ<sub>ij</sub>·V<sub>ij</sub>,i≠j,Φ<sub>ii</sub>=0;对于Φ中某一行i和任意j列,Φ<sub>ij</sub>表示i被j遮挡的部分;目标i的所有遮挡为j行的和,即:∑<sub>j</sub>Φ<sub>ij</sub>;目标i的可见部分为:max(0,1‑∑<sub>j</sub>Φ<sub>ij</sub>);采用指数函数来定义目标的可见部分,公式为:<maths num="0005"><math><![CDATA[<mrow><msub><mi>v</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mo>=</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msub><mi>&Sigma;</mi><mi>j</mi></msub><msub><mi>&Phi;</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>)</mo></mrow><mo>,</mo><mfrac><mrow><mo>&part;</mo><msub><mi>v</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow></mrow><mrow><mo>&part;</mo><msub><mi>X</mi><mi>j</mi></msub></mrow></mfrac><mo>=</mo><mo>-</mo><mfrac><mrow><mo>&part;</mo><msub><mi>&Phi;</mi><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow><mrow><mo>&part;</mo><msub><mi>X</mi><mi>j</mi></msub></mrow></mfrac><mo>&CenterDot;</mo><msub><mi>v</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001134043390000024.GIF" wi="991" he="144" /></maths>其中:X为待求目标,X<sub>j</sub>表示第j个目标;步骤4:构建粒子加权模型;第i个粒子t‑1时刻的权重为<img file="FDA0001134043390000025.GIF" wi="99" he="71" />t时刻的粒子权重为<img file="FDA0001134043390000026.GIF" wi="99" he="71" />粒子权重的变化情况为:<maths num="0006"><math><![CDATA[<mrow><msubsup><mi>&omega;</mi><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><mo>=</mo><msubsup><mi>&omega;</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><mo>&CenterDot;</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>y</mi><mi>t</mi></msub><mo>|</mo><msubsup><mi>x</mi><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001134043390000027.GIF" wi="430" he="93" /></maths>其中,<img file="FDA0001134043390000028.GIF" wi="1110" he="94" />k<sub>o</sub>,k<sub>d</sub>,k<sub>s</sub>,k<sub>v</sub>为相应项的加权系数,同时有k<sub>o</sub>+k<sub>d</sub>+k<sub>s</sub>+k<sub>v</sub>=1;步骤4‑1:强分类器检测的结果ρ<sup>(i)</sup><sub>o,t</sub>:对于第t时刻的i个粒子p<sup>(i)</sup><sub>t</sub>,获得最后的相似度,得到ρ<sup>(i)</sup><sub>o,t</sub>:ρ<sup>(i)</sup><sub>o,t</sub>=conf(p<sup>(i)</sup><sub>t</sub>)其中conf(p<sup>(i)</sup><sub>t</sub>)为Onling Boosting的置信度计算公式;步骤4‑2:当前粒子距上一次目标跟踪的位置的距离ρ<sup>(i)</sup><sub>d,t</sub>:从目标运动过程来看,如果某个粒子距上一时刻的目标距离较远,那么该粒子描述跟踪目标的能力就较低,反之,如果粒子距上一时刻目标位置较近,则可信度较高。由于目标处于运动状态,上一个时刻的位置不一定是当前目标的位置,因此,为了增加可信度,对上一个时刻目标所处的位置周围某个区域的粒子设置相同的权重,而处于此区域以外的粒子随距离的增加而递减,即:<maths num="0007"><math><![CDATA[<mrow><msub><msup><mi>&rho;</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msup><mrow><mi>d</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><mn>1</mn><mo>,</mo></mrow></mtd><mtd><mrow><msub><msup><mi>D</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msup><mi>t</mi></msub><mo>&lt;</mo><mi>&epsiv;</mi></mrow></mtd></mtr><mtr><mtd><mrow><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>(</mo><mrow><msub><msup><mi>D</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msup><mi>t</mi></msub><mo>-</mo><mi>&epsiv;</mi></mrow><mo>)</mo></mrow><mn>2</mn></msup><mo>)</mo></mrow><mo>,</mo></mrow></mtd><mtd><mrow><mi>e</mi><mi>l</mi><mi>s</mi><mi>e</mi></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0001134043390000031.GIF" wi="790" he="215" /></maths>其中,ε为一个固定数值,由行人目标运动的速度来度量;D<sup>(i)</sup><sub>t</sub>为第i个粒子距离上一时刻目标的位置。步骤4‑3:与上一次跟踪的相似度ρ<sup>(i)</sup><sub>s,t</sub>:由于行人的非刚性,因此上一时刻目标和当前时刻目标已经处于完全不同的状态,但是由于每一帧时间足够短,因此每一帧中行人外观变化不是特别大,因此,对特征变化太大的目标置一个较小的权重,对相似性很高的目标置一个较大的权重,即:<maths num="0008"><math><![CDATA[<mrow><msub><msup><mi>&rho;</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msup><mrow><mi>s</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>(</mo><mrow><msubsup><mi>F</mi><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><mo>-</mo><msub><mi>F</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub></mrow><mo>)</mo></mrow><mn>2</mn></msup><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001134043390000032.GIF" wi="558" he="119" /></maths>其中<img file="FDA0001134043390000033.GIF" wi="74" he="77" />为第i个粒子在t时刻的特征(使用HOG+LUV特征进行描述),F<sub>t‑1</sub>为t‑1时刻行人目标的特征;行人的可见部分ρ<sup>(i)</sup><sub>v,t</sub>:目标被遮挡的情况下可信度降低,可见部分的值也应该减小,而目标不存在遮挡时,可见部分应该增加;采用如下公式表示:<maths num="0009"><math><![CDATA[<mrow><msub><msup><mi>&rho;</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msup><mrow><mi>v</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mfenced open = "{" close = ""><mtable><mtr><mtd><mrow><mfrac><mrow><mi>V</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>bb</mi><mi>i</mi></msub></mrow></mfrac><mo>,</mo></mrow></mtd><mtd><mrow><msubsup><mi>D</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mo>(</mo><mi>t</mi><mo>)</mo></mrow></msubsup><mo>&lt;</mo><mi>&zeta;</mi></mrow></mtd></mtr><mtr><mtd><mrow><mn>1</mn><mo>,</mo></mrow></mtd><mtd><mrow><mi>e</mi><mi>l</mi><mi>s</mi><mi>e</mi></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0001134043390000041.GIF" wi="508" he="222" /></maths>其中,bb<sub>i</sub>为目标未遮挡时的大小,V(i)为目标被目标j遮挡时的大小,<img file="FDA0001134043390000042.GIF" wi="78" he="78" />为目标i与目标j的距离,ζ为距离阈值,根据实际情况确定;步骤5:预测位置,进行跟踪和更新由粒子滤波公式得到目标的最终位置,并跟新初始值和权系数;x(t)=f(x(t‑1),u(t),w(t))y(t)=h(x(t),e(t))其中,x(t)为t时刻状态,u(t)为t时刻控制量,w(t)和e(t)为观测模型和噪声模型,f(·)为观测方程,h(·)为状态方程,y(t)为最后的状态。
地址 611731 四川省成都市高新区(西区)西源大道2006号