发明名称 一种基于在线迭代子空间学的目标跟踪方法
摘要 本发明公开了一种基于在线迭代子空间学的目标跟踪方法,首先进行目标图像的校准后,随后采用子空间集合在线迭代更新的方法更新子空间。本发明提供的目标跟踪方法,对于监控视频每一帧图像中待跟踪的目标,在完成目标图像的校准后,只需以在线方式更新子空间,跟踪过程中所维持的子空间集合所占用的存储空间远远小于经典目标跟踪方法所维持的“字典”所占用的内存空间,减少了对内存的需求量,提升了目标跟踪方法的效率。在目标被部分遮挡或受到光照变化影响时,依然能有效跟踪目标;即便遇到跟踪的目标对象发生了较大的姿势变化、受到严重的污染、光照明暗强烈变化时,本方法仍旧能较好地跟踪目标,具有较强的鲁棒性。
申请公布号 CN105389833A 申请公布日期 2016.03.09
申请号 CN201510993106.0 申请日期 2015.12.24
申请人 南京信息工程大学 发明人 何军;张德娇;施蓓蓓;张玥;崔桐
分类号 G06T7/20(2006.01)I 主分类号 G06T7/20(2006.01)I
代理机构 南京众联专利代理有限公司 32206 代理人 顾进;叶涓涓
主权项 一种基于在线迭代子空间学习的目标跟踪方法,其特征在于,包括如下步骤:步骤A,序列图像的鲁棒性在线校准将所跟踪目标的每一张序列图像向量化为n×1的列向量,则整个序列图像集合构成一个n×N矩阵D,其中D可以分解成一个大小为n×N低秩矩阵L=UW,一个大小为n×N的稀疏矩阵E,和一个非线性图像变换τ,序列图像的鲁棒性在线校准公式如下:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>U</mi><mo>,</mo><mi>W</mi><mo>,</mo><mi>E</mi><mo>,</mo><mi>&tau;</mi></mrow></munder><mo>|</mo><mo>|</mo><mi>E</mi><mo>|</mo><msub><mo>|</mo><mn>1</mn></msub></mrow>]]></math><img file="FDA0000889554110000011.GIF" wi="222" he="93" /></maths>s.t.D°τ=UW+E                                                                        (1)U∈G(d,n)由于图像变换D°τ的非线性性质,上式(1)表示如下:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><msup><mi>U</mi><mi>k</mi></msup><mo>,</mo><mi>W</mi><mo>,</mo><mi>E</mi><mo>,</mo><mi>&Delta;</mi><mi>&tau;</mi></mrow></munder><mo>|</mo><mo>|</mo><mi>E</mi><mo>|</mo><msub><mo>|</mo><mn>1</mn></msub></mrow>]]></math><img file="FDA0000889554110000012.GIF" wi="267" he="102" /></maths><img file="FDA0000889554110000013.GIF" wi="1229" he="135" />U<sup>k</sup>∈G(d<sup>k</sup>,n)计算公式(2)将目标图像变换成为一个在规范坐标系中精确校准的目标图像,具体包括如下步骤:步骤A‑1,首先给出第一帧图像中待跟踪物体的若干初始位置参数,对于初始位置参数所框选的待追踪物体图像I均匀进行m次仿射变换扰动,通过仿射变换得到m个经过扰动的跟踪物体图像,然后利用这些图像初始化L个子空间<img file="FDA0000889554110000014.GIF" wi="182" he="79" />采用上式(2)初始化L个子空间<img file="FDA0000889554110000015.GIF" wi="181" he="78" />步骤A‑2,每次仅考虑一帧图像I<sub>i</sub>,固定子空间<img file="FDA0000889554110000016.GIF" wi="94" he="76" />将公式(2)改写为:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>w</mi><mo>,</mo><mi>e</mi><mo>,</mo><mi>&Delta;</mi><mi>&tau;</mi></mrow></munder><mo>|</mo><mo>|</mo><mi>e</mi><mo>|</mo><mo>|</mo></mrow>]]></math><img file="FDA0000889554110000017.GIF" wi="186" he="86" /></maths>                                                                                             (3)<img file="FDA0000889554110000018.GIF" wi="558" he="78" />上式中,I<sub>i</sub>是第i帧图像,<img file="FDA0000889554110000019.GIF" wi="62" he="78" />是第k次迭代所估计的变换参数,<img file="FDA00008895541100000110.GIF" wi="62" he="77" />是第k次迭代针对变换<img file="FDA00008895541100000111.GIF" wi="58" he="79" />的雅可比矩阵,w为权重向量,e为稀疏向量,Δτ为增量的变换参数;公式(3)的增广拉格朗日形式如下:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>L</mi><mrow><mo>(</mo><msubsup><mi>U</mi><mi>t</mi><mi>k</mi></msubsup><mo>,</mo><mi>w</mi><mo>,</mo><mi>e</mi><mo>,</mo><mi>&Delta;</mi><mi>&tau;</mi><mo>,</mo><mi>&lambda;</mi><mo>)</mo></mrow><mo>=</mo><mo>|</mo><mo>|</mo><mi>e</mi><mo>|</mo><msub><mo>|</mo><mn>1</mn></msub><mo>+</mo><mi>&lambda;</mi><mi>h</mi><mrow><mo>(</mo><mi>w</mi><mo>,</mo><mi>e</mi><mo>,</mo><mi>&Delta;</mi><mi>&tau;</mi><mo>)</mo></mrow><mo>+</mo><mfrac><mi>u</mi><mn>2</mn></mfrac><mo>|</mo><mo>|</mo><mi>h</mi><mrow><mo>(</mo><mi>w</mi><mo>,</mo><mi>e</mi><mo>,</mo><mi>&Delta;</mi><mi>&tau;</mi><mo>)</mo></mrow><mo>|</mo><msubsup><mo>|</mo><mn>2</mn><mn>2</mn></msubsup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA00008895541100000112.GIF" wi="1524" he="118" /></maths>其中<img file="FDA00008895541100000113.GIF" wi="751" he="76" />λ∈R<sup>n</sup>是拉格朗日乘子向量;最优参数值(w<sup>*</sup>,e<sup>*</sup>,Δτ<sup>*</sup>,λ<sup>*</sup>)可由下式ADMM算法求得:<img file="FDA0000889554110000021.GIF" wi="1238" he="543" />上式中ρ>1是ADMM的常量系数;步骤A‑3,选择公式(4)作为第k次迭代过程中子空间更新的代价函数更新子空间<img file="FDA00008895541100000219.GIF" wi="92" he="73" />首先对(4)关于U<sup>k</sup>求导:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mfrac><mrow><mi>d</mi><mi>L</mi></mrow><mrow><msup><mi>dU</mi><mi>k</mi></msup></mrow></mfrac><mo>=</mo><mrow><mo>(</mo><msup><mi>&lambda;</mi><mo>*</mo></msup><mo>+</mo><mi>&mu;</mi><mi>h</mi><mo>(</mo><mrow><msup><mi>w</mi><mo>*</mo></msup><mo>,</mo><msup><mi>e</mi><mo>*</mo></msup><mo>,</mo><msup><mi>&Delta;&tau;</mi><mo>*</mo></msup></mrow><mo>)</mo><mo>)</mo></mrow><msup><mi>w</mi><mrow><mo>*</mo><mi>T</mi></mrow></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000889554110000022.GIF" wi="1142" he="134" /></maths>将其投影至格拉斯曼流形G(d<sup>k</sup>,n),得梯度<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mi>&Delta;</mi><mi>L</mi><mo>=</mo><mrow><mo>(</mo><mi>I</mi><mo>-</mo><msup><mi>U</mi><mi>k</mi></msup><msup><mi>U</mi><msup><mi>k</mi><mi>T</mi></msup></msup><mo>)</mo></mrow><mfrac><mrow><mi>d</mi><mi>L</mi></mrow><mrow><msup><mi>dU</mi><mi>k</mi></msup></mrow></mfrac><mo>,</mo></mrow>]]></math><img file="FDA0000889554110000023.GIF" wi="495" he="127" /></maths>引入<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msub><mi>&Gamma;</mi><mn>1</mn></msub><mo>=</mo><msubsup><mi>&lambda;</mi><mi>i</mi><mo>*</mo></msubsup><mo>+</mo><mi>&mu;</mi><mi>h</mi><mrow><mo>(</mo><msubsup><mi>w</mi><mi>i</mi><mo>*</mo></msubsup><mo>,</mo><msubsup><mi>e</mi><mi>i</mi><mo>*</mo></msubsup><mo>,</mo><msubsup><mi>&Delta;&tau;</mi><mi>i</mi><mo>*</mo></msubsup><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000889554110000024.GIF" wi="413" he="63" /></maths>和<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><mi>&Gamma;</mi><mo>=</mo><mrow><mo>(</mo><mi>I</mi><mo>-</mo><msubsup><mi>U</mi><mi>t</mi><mi>k</mi></msubsup><msubsup><mi>U</mi><mi>t</mi><msup><mi>k</mi><mi>T</mi></msup></msubsup><mo>)</mo></mrow><msub><mi>&Gamma;</mi><mn>1</mn></msub><mo>,</mo></mrow>]]></math><img file="FDA0000889554110000025.GIF" wi="372" he="78" /></maths>得ΔL=Γw<sup>*T</sup>,ΔL的SVD分解表示为下式:<maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><mi>&Delta;</mi><mi>L</mi><mo>=</mo><mo>&lsqb;</mo><mfrac><mi>&Gamma;</mi><mrow><mo>|</mo><mo>|</mo><mi>&Gamma;</mi><mo>|</mo><mo>|</mo></mrow></mfrac><mo>,</mo><msub><mi>x</mi><mn>2</mn></msub><mo>,</mo><mo>...</mo><mo>,</mo><msub><mi>x</mi><mi>d</mi></msub><mo>&rsqb;</mo><mo>&times;</mo><mi>d</mi><mi>i</mi><mi>a</mi><mi>g</mi><mrow><mo>(</mo><mi>&sigma;</mi><mo>,</mo><mn>0</mn><mo>,</mo><mo>...</mo><mo>,</mo><mn>0</mn><mo>)</mo></mrow><mo>&times;</mo><msup><mrow><mo>&lsqb;</mo><mfrac><msup><mi>w</mi><mo>*</mo></msup><mrow><mi>||</mi><msup><mi>w</mi><mo>*</mo></msup><mo>|</mo><mo>|</mo></mrow></mfrac><mo>,</mo><msub><mi>y</mi><mn>2</mn></msub><mo>,</mo><mo>...</mo><mo>,</mo><msub><mi>y</mi><mi>d</mi></msub><mo>&rsqb;</mo></mrow><mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000889554110000026.GIF" wi="1510" he="142" /></maths>子空间的更新方法如下:<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><msubsup><mi>U</mi><mrow><mi>t</mi><mo>+</mo><mn>1</mn></mrow><mi>k</mi></msubsup><mo>=</mo><msubsup><mi>U</mi><mi>t</mi><mi>k</mi></msubsup><mo>+</mo><mrow><mo>(</mo><mi>c</mi><mi>o</mi><mi>s</mi><mo>(</mo><mrow><mi>&eta;</mi><mi>&sigma;</mi></mrow><mo>)</mo><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mfrac><mrow><msubsup><mi>U</mi><mi>t</mi><mi>k</mi></msubsup><msubsup><mi>w</mi><mi>t</mi><mo>*</mo></msubsup></mrow><mrow><mo>|</mo><mo>|</mo><msubsup><mi>w</mi><mi>t</mi><mo>*</mo></msubsup><mo>|</mo><mo>|</mo></mrow></mfrac><mfrac><msubsup><mi>w</mi><mi>t</mi><mrow><mo>*</mo><mi>T</mi></mrow></msubsup><mrow><mo>|</mo><mo>|</mo><msubsup><mi>w</mi><mi>t</mi><mo>*</mo></msubsup><mo>|</mo><mo>|</mo></mrow></mfrac><mo>-</mo><mi>s</mi><mi>i</mi><mi>n</mi><mrow><mo>(</mo><mi>&eta;</mi><mi>&sigma;</mi><mo>)</mo></mrow><mfrac><mi>&Gamma;</mi><mrow><mo>|</mo><mo>|</mo><mi>&Gamma;</mi><mo>|</mo><mo>|</mo></mrow></mfrac><mfrac><msubsup><mi>w</mi><mi>t</mi><mrow><mo>*</mo><mi>T</mi></mrow></msubsup><mrow><mo>|</mo><mo>|</mo><msubsup><mi>w</mi><mi>t</mi><mo>*</mo></msubsup><mo>|</mo><mo>|</mo></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000889554110000027.GIF" wi="1510" he="158" /></maths>步骤B,采用子空间在线更新方法对目标进行跟踪:对子空间集合<img file="FDA0000889554110000028.GIF" wi="182" he="78" />通过如下步骤进行在线更新:对于当前待跟踪的第i帧序列图像I<sub>i</sub>,完成L次迭代,完成对子空间集合<img file="FDA0000889554110000029.GIF" wi="153" he="78" />的更新,每次迭代时使用公式(5)计算出最优的(w<sup>*</sup>,e<sup>*</sup>,Δτ<sup>*</sup>,λ<sup>*</sup>),其中Δτ<sup>*</sup>即<img file="FDA00008895541100000210.GIF" wi="141" he="77" />计算出<img file="FDA00008895541100000211.GIF" wi="349" he="77" />k=[1,…L],其中初始的子空间集合为<img file="FDA00008895541100000212.GIF" wi="174" he="79" />初始的变换参数为<img file="FDA00008895541100000213.GIF" wi="78" he="78" />依次处理后续帧序列图像,初始的变换参数<img file="FDA00008895541100000214.GIF" wi="192" he="78" />采用与第i帧序列图像同样的方式更新子空间集合<img file="FDA00008895541100000215.GIF" wi="191" he="79" />直至处理完所有后续帧序列图像;根据在规范坐标系中校准目标图像的矩形框若干顶点位置常量,经过<img file="FDA00008895541100000216.GIF" wi="74" he="69" />的变换,得到该目标在I<sub>i+1</sub>图像中的位置参数,其中<img file="FDA00008895541100000217.GIF" wi="69" he="63" />为<img file="FDA00008895541100000218.GIF" wi="70" he="78" />的逆变换。
地址 210044 江苏省南京市宁六路219号