发明名称 一种基于协同关联粒子滤波的多视频目标主动跟踪方法
摘要 本发明属智能视频处理技术领域,涉及一种多视频目标主动跟踪方法,特别是涉及一种基于协同关联粒子滤波的多视频目标主动跟踪方法,包括基于视觉注意主动发现新目标、建议分布建立、样本采集、协同关联权值计算、状态输出和重采样,应用视觉注意机制检测目标,以实现对突然进入场景的新目标的主动跟踪,以及建立新的建议分布时所需目标状态信息的检测;采用协同数据关联方法对目标航迹进行关联并计算粒子权值。本发明利用视觉注意机制“主动发现”目标,解决了目标的出现、消失,以及交互目标的合并、分裂以及过遮挡造成的误跟踪及跟踪丢失问题;很好的解决了复杂情况下普通多目标跟踪算法的跟踪失败及误跟踪等问题。
申请公布号 CN102521612A 申请公布日期 2012.06.27
申请号 CN201110424869.5 申请日期 2011.12.16
申请人 东华大学 发明人 丁永生;韩华;郝矿荣
分类号 G06K9/62(2006.01)I;G06T7/20(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 上海天翔知识产权代理有限公司 31224 代理人 吕伴
主权项 1.一种基于协同关联粒子滤波的多视频目标主动跟踪方法,其特征是包括以下步骤:(1)视觉注意主动发现新目标:k-1时刻(k≥1),对视频图像用视觉注意机制算法计算场景中存在的目标,计算目标的显著图特征q<sub>d</sub>;建立协同关联矩阵O<sub>k</sub>,所述的协同关联矩阵O<sub>k</sub>表示两两目标间的遮挡关系,矩阵中的第i行第j列对应的元素记为O<sub>i,j</sub>,表示目标i与j的遮挡关系;当两两目标间的欧氏距离小于目标宽度的一半时,O<sub>i,j</sub>=1(i≠j),表示目标i遮挡了目标j;其它情况O<sub>i,j</sub>=0(i≠j),表示两目标间没有发生遮挡;只要i=j,那么O<sub>i,j</sub>=0;O<sub>i,j</sub>与O<sub>j,i</sub>不能同时为1,如果目标i的宽度大于j,则O<sub>i,j</sub>=1,反之,O<sub>j,i</sub>=1;如果发现新目标,则①建立如下采样建议分布q<sub>new</sub>(X<sub>k</sub>|X<sub>k-1</sub>,Z<sub>1:k</sub>)=αq<sub>d</sub>(X<sub>k</sub>|X<sub>k-1</sub>,Z<sub>1:k</sub>)+(1-α)p(X<sub>k</sub>|X<sub>k-1</sub>);其中,q<sub>new</sub>(X<sub>k</sub>|X<sub>k-1</sub>,Z<sub>1:k</sub>)为新目标的建议分布;q<sub>d</sub>(X<sub>k</sub>|X<sub>k-1</sub>,Z<sub>1:k</sub>)为新目标的视觉显著图特征,X为待估计的当前帧的目标状态,由目标的中心点坐标及对应矩形的长短半轴的长度组成;Z为观测量;α是比例系数,α∈(0,1);②初始化粒子集:在所述的视频图像中,根据先验概率p<sub>0</sub>采集N个粒子样本组成k-1时刻的新目标的初始样本集<img file="FDA0000121192500000011.GIF" wi="258" he="134" />该初始样本集即为初始化的粒子集,其中<img file="FDA0000121192500000012.GIF" wi="75" he="63" />表示第i个初始样本,将<img file="FDA0000121192500000013.GIF" wi="52" he="106" />定义为每个初始样本的权值,N=100~10000;③更新协同关联矩阵O<sub>k</sub>;(2)各目标协同采样:为得到样本集<img file="FDA0000121192500000014.GIF" wi="255" he="75" />首先根据所述的采样建议分布和O<sub>k</sub>采集样本X<sub>k</sub>;其中<img file="FDA0000121192500000015.GIF" wi="76" he="63" />是采样得到的第i个样本,<img file="FDA0000121192500000016.GIF" wi="67" he="63" />表示第i个样本的权值,<img file="FDA0000121192500000017.GIF" wi="620" he="73" /><img file="FDA0000121192500000018.GIF" wi="77" he="63" />表示第m个目标采样得到的第i个样本;s<sub>mk</sub>是协同因子,表示k时刻目标m被遮挡的深度信息,s<sub>mk</sub>取值取决于O<sub>k</sub>;若k时刻O<sub>i,j</sub>=1,则s<sub>i,k</sub>=1,表示目标i遮挡,s<sub>j,k</sub>=2表示目标j被遮挡,采样时只采目标i的样本,目标j放弃采样过程;如果O<sub>i,j</sub>=0,则s<sub>mk</sub>=0,表示目标没有遮挡或被遮挡,目标i和j都需要采样;(3)计算协同概率数据关联概率和权值,更新粒子集:I.利用(2)中采样得到的样本,①根据联合概率数据关联算法(JPDA)计算协同数据关联概率概率为<maths num="0001"><![CDATA[<math><mrow><msub><mi>&beta;</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><munder><mi>&Sigma;</mi><mrow><mi>&theta;</mi><mo>&Element;</mo><msub><mi>&Theta;</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow></msub></mrow></munder><msup><mi>C&gamma;</mi><mrow><msub><mi>M</mi><mi>k</mi></msub><mo>-</mo><mover><mi>&theta;</mi><mo>=</mo></mover></mrow></msup><munder><mi>&Pi;</mi><mrow><mrow><mo>(</mo><mi>m</mi><mo>,</mo><mi>t</mi><mo>)</mo></mrow><mo>&Element;</mo><mi>&theta;</mi></mrow></munder><msub><mi>p</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>,</mo></mrow></math>]]></maths>其中<maths num="0002"><![CDATA[<math><mrow><msub><mi>p</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><mfrac><mn>1</mn><mrow><msup><mrow><mo>(</mo><mn>2</mn><mi>&pi;</mi><mo>)</mo></mrow><mrow><mi>Q</mi><mo>/</mo><mn>2</mn></mrow></msup><msup><mrow><mo>|</mo><msub><mi>S</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>|</mo></mrow><mrow><mn>1</mn><mo>/</mo><mn>2</mn></mrow></msup></mrow></mfrac><mi>exp</mi><mrow><mo>(</mo><mfrac><mrow><mo>-</mo><msubsup><mi>d</mi><mrow><mi>m</mi><mo>,</mo><mi>t</mi></mrow><mn>2</mn></msubsup></mrow><mn>2</mn></mfrac><mo>)</mo></mrow><mo>;</mo></mrow></math>]]></maths>θ是关联事件集合,每个联合关联事件θ唯一确定目标观测与目标状态的关联;令Θ<sub>m,t</sub>表示为观测m关联到目标t的所有有效联合关联事件集合,<img file="FDA0000121192500000023.GIF" wi="39" he="56" />为联合关联事件集合的势,M<sub>k</sub>表示观测数,<img file="FDA0000121192500000024.GIF" wi="156" he="67" />为虚警观测;γ为虚警观测概率,<img file="FDA0000121192500000025.GIF" wi="113" he="67" />为Z<sub>k</sub>中所有虚警观测概率,C为归一化常数,Q为观测变量的维数;<img file="FDA0000121192500000026.GIF" wi="69" he="60" />为归一化的观测更新度量,|·|为行列式表示,S<sub>m,t</sub>为观测集协方差;②粒子权值计算:对于目标t,根据联合数据关联概率β<sub>m,t</sub>,对粒子集中的N个样本<img file="FDA0000121192500000027.GIF" wi="75" he="67" />计算权值<img file="FDA0000121192500000028.GIF" wi="91" he="67" /><img file="FDA0000121192500000029.GIF" wi="75" he="67" />的权值可表示为<img file="FDA00001211925000000210.GIF" wi="561" he="90" />其中,p(Z<sub>k,t</sub>|X<sub>k,t</sub>)是视频目标的观测概率;II.更新粒子集<img file="FDA00001211925000000211.GIF" wi="254" he="75" />(4)状态输出;k时刻,对于目标t=1,…,T,所述的多视频目标的状态等于用样本求取的估计值,该估计值用最小均方误差估计(MMSE估计)方法来计算,即估计值<img file="FDA00001211925000000212.GIF" wi="75" he="66" />等于<maths num="0003"><![CDATA[<math><mrow><mi>E</mi><mrow><mo>(</mo><msub><mi>X</mi><mrow><mi>k</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>)</mo></mrow><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msubsup><mi>&omega;</mi><mrow><mi>k</mi><mo>,</mo><mi>t</mi></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><msubsup><mi>X</mi><mrow><mi>k</mi><mo>,</mo><mi>t</mi></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></msubsup><mo>;</mo></mrow></math>]]></maths>(5)重采样:根据(3)中的<img file="FDA00001211925000000214.GIF" wi="259" he="78" />采用累计分布重采样算法采样得到<img file="FDA00001211925000000215.GIF" wi="255" he="81" />令粒子权值为<img file="FDA00001211925000000216.GIF" wi="75" he="106" />重新组成粒子集<img file="FDA00001211925000000217.GIF" wi="261" he="133" />(6)循环:令k=k+1,重复(1)~(5);直到本视频序列结束。
地址 201620 上海市松江区新城区人民北路2999号