发明名称 一种视频目标跟踪中的全遮挡处理方法
摘要 本发明属于计算机视觉与模式分析技术领域,具体为一种视频目标跟踪中的全遮挡处理方法。在视频目标跟踪过程中,目标常常会被其它物体完全遮挡一段时间。本发明提出了一种有效探测目标重新出现的时刻并及时再次捕获目标的方法。该方法在目标被完全遮挡后的每隔几帧即选出一个最佳匹配作为可能的重新出现的目标。然后利用遮挡物与刚重新出现的目标在作后向匹配时的不同特性检验该匹配是否真的是重新出现的目标。如果是则将该匹配所在的帧确定为目标重新出现的时刻,该最佳匹配的位置即为目标重新出现的位置。大量实景视频流的实验结果证实了本发明方法的有效性。
申请公布号 CN101098461B 申请公布日期 2010.11.17
申请号 CN200710043465.5 申请日期 2007.07.05
申请人 复旦大学 发明人 潘吉彦;胡波;张建
分类号 H04N7/18(2006.01)I;G06T7/20(2006.01)I 主分类号 H04N7/18(2006.01)I
代理机构 上海正旦专利代理有限公司 31200 代理人 陆飞;盛志范
主权项 1.一种视频目标跟踪中的全遮挡处理方法,其特征在于在目标进入全遮挡后,用模板在每帧中通过坐标变换寻找具有最佳匹配的图像区域,并每隔K帧选取一个最佳匹配作为候选目标;对该候选目标进行验证;如果通过了验证,则该候选目标就是重新出现的目标,该候选目标所在的位置则是重新出现的目标所在的位置;如果没有通过验证,则继续下一个K帧的最佳匹配选取与验证;这里K取2-6;其中,所述验证是通过比较最佳匹配与模板之间的误差e<sub>t</sub>以及最佳匹配的平均后向运动估计匹配误差<img file="FSB00000139489900011.GIF" wi="46" he="72" />来验证该最佳匹配是否就是重新出现的目标;其中e<sub>t</sub>的计算如下:<maths num="0001"><![CDATA[<math><mrow><msub><mi>e</mi><mi>t</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munder><mi>&Sigma;</mi><mrow><mi>x</mi><mo>&Element;</mo><msub><mi>&Omega;</mi><mi>T</mi></msub></mrow></munder><mo>|</mo><msub><mi>T</mi><mi>LB</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>-</mo><mover><mi>T</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow></math>]]></maths><img file="FSB00000139489900013.GIF" wi="36" he="47" />的计算如下:<maths num="0002"><![CDATA[<math><mrow><msub><mover><mi>e</mi><mo>&OverBar;</mo></mover><mi>b</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>P</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>n</mi><mo>=</mo><msub><mi>n</mi><mi>m</mi></msub><mo>-</mo><mi>P</mi></mrow><mrow><msub><mi>n</mi><mi>m</mi></msub><mo>-</mo><mn>1</mn></mrow></munderover><mo>{</mo><munder><mi>min</mi><mi>a</mi></munder><mfrac><mn>1</mn><mi>N</mi></mfrac><munder><mi>&Sigma;</mi><mrow><mi>x</mi><mo>&Element;</mo><msub><mi>&Omega;</mi><mi>T</mi></msub></mrow></munder><mo>|</mo><msub><mi>I</mi><mi>n</mi></msub><mo>[</mo><mi>&phi;</mi><mrow><mo>(</mo><mi>x</mi><mo>;</mo><mi>a</mi><mo>)</mo></mrow><mo>]</mo><mo>-</mo><msub><mi>T</mi><mi>LB</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><mo>}</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中P的取值如下:P=min{n<sub>m</sub>-n<sub>c</sub>,3K}                         (6);当下式成立时最佳匹配T<sub>LB</sub>通过验证,即最佳匹配就是重新出现的目标:<maths num="0003"><![CDATA[<math><mrow><msub><mi>e</mi><mi>t</mi></msub><mo>-</mo><msub><mover><mi>e</mi><mo>&OverBar;</mo></mover><mi>b</mi></msub><mo>&lt;</mo><mi>&delta;</mi><mo>&CenterDot;</mo><mi>log</mi><mo>[</mo><msub><mi>n</mi><mi>m</mi></msub><mo>-</mo><msub><mi>n</mi><mi>c</mi></msub><mo>]</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中2<δ<4,其取值根据目标外观变化的剧烈程度而调整;第k个包含K帧的帧组中与模板最匹配的图像区域的坐标变换参数a<sub>m</sub>与所在帧序号n<sub>m</sub>通过下式给出:<maths num="0004"><![CDATA[<math><mrow><mrow><mo>(</mo><msub><mi>a</mi><mi>m</mi></msub><mo>,</mo><msub><mi>n</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mrow><mi>arg</mi><mi>min</mi></mrow><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow></munder><mfrac><mn>1</mn><mi>N</mi></mfrac><munder><mi>&Sigma;</mi><mrow><mi>x</mi><mo>&Element;</mo><msub><mi>&Omega;</mi><mi>T</mi></msub></mrow></munder><mo>|</mo><msub><mi>I</mi><mi>n</mi></msub><mo>[</mo><mi>&phi;</mi><mrow><mo>(</mo><mi>x</mi><mo>;</mo><mi>a</mi><mo>)</mo></mrow><mo>]</mo><mo>-</mo><mover><mi>T</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow><mo>,</mo></mrow></math>]]></maths>其中I<sub>n</sub>代表第n帧图像,<img file="FSB00000139489900017.GIF" wi="27" he="46" />表示模板,T<sub>LB</sub>表示最佳匹配,N是模板中像素的个数,φ(x;a)是取决于参数a的任意坐标变换,Ω<sub>T</sub>代表模板像素的全体,帧序号n的取值范围如下:<maths num="0005"><![CDATA[<math><mrow><mi>n</mi><mo>&Element;</mo><msubsup><mrow><mo>{</mo><msub><mi>n</mi><mi>c</mi></msub><mo>+</mo><mrow><mo>(</mo><mi>k</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mi>K</mi><mo>+</mo><mi>i</mi><mo>}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>K</mi></msubsup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中n<sub>c</sub>是目标刚被完全遮挡时的帧序号。
地址 200433 上海市邯郸路220号