发明名称 基于动态稀疏投影的视频目标跟踪方法
摘要 本发明公开了一种基于动态稀疏投影的视频目标跟踪方法,用于解决现有固定稀疏投影矩阵跟踪方法鲁棒性差的技术问题。技术方案是利用一系列不同维数的稀疏投影矩阵从高维图像上获取不同的低维图像特征信息,在此基础上利用朴素贝叶斯分类器分别得到对应的分类样本;通过计算每一个分类样本的与前一帧样本的特征对比度、与初始帧样本的图像相似度、当前帧目标与背景的像素分布差异度比较结果获取各自的权重信息,动态更新权值小于阈值的稀疏投影矩阵并选取权重最优的分类样本作为最终的目标跟踪结果。跟踪结果准确率达到85%以上。
申请公布号 CN103413143B 申请公布日期 2017.02.08
申请号 CN201310323170.9 申请日期 2013.07.29
申请人 西北工业大学 发明人 张艳宁;杨涛;陈挺
分类号 G06K9/62(2006.01)I;G06T7/20(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 西北工业大学专利中心 61204 代理人 王鲜凯
主权项 一种基于动态稀疏投影的视频目标跟踪方法,其特征在于包括以下步骤:步骤一、生成稀疏投影矩阵<img file="FDA0001137390420000011.GIF" wi="227" he="70" />稀疏投影矩阵R<sub>i</sub>的组成元素r<sub>ab</sub>采用随机采样的方式获取,定义如下;<img file="FDA0001137390420000012.GIF" wi="1405" he="406" />式中,s=2或者s=3;步骤二、利用上一帧跟踪结果的图像坐标位置l<sub>t‑1</sub>,生成正样本集合D<sup>α</sup>={z|||l(z)‑l<sub>t‑1</sub>||&lt;α}和负样本集合D<sup>β,ζ</sup>={z|β&lt;||l(z)‑l<sub>t‑1</sub>||&lt;ζ};定义一组多尺度因子{h<sub>1,1</sub>,…,h<u><sub>w,h</sub></u>}对所有样本都进行多尺度矩形滤波,多尺度因子的表示如下,<img file="FDA0001137390420000013.GIF" wi="1438" he="143" />式中,w和h分别代表矩形滤波框的宽和高;经过多尺度矩形滤波处理后,所有图像样本被转换成高维的多尺度图像特征向量<img file="FDA0001137390420000014.GIF" wi="456" he="68" />其中m=(<u>wh</u>)<sup>2</sup>;利用步骤一生成的一系列稀疏投影矩阵<img file="FDA0001137390420000015.GIF" wi="203" he="63" />把多尺度图像特征向量x转换成各自对应的低维特征向量<img file="FDA0001137390420000016.GIF" wi="491" he="71" />v<sub>i</sub>=R<sub>i</sub>x                                       (3)式中,<img file="FDA0001137390420000017.GIF" wi="331" he="55" />分别对应稀疏投影矩阵空间、图像空间、特征空间,其中n<<m;步骤三、利用朴素贝叶斯分类器H(v<sub>i</sub>)对所有低维特征向量v<sub>i</sub>进行分类,<maths num="0001"><math><![CDATA[<mrow><mi>H</mi><mrow><mo>(</mo><msub><mi>v</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>l</mi><mi>o</mi><mi>g</mi><mo>(</mo><mfrac><mrow><msubsup><mi>&Pi;</mi><mrow><mi>a</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></msubsup><mi>p</mi><mrow><mo>(</mo><msub><mi>v</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow></msub><mo>|</mo><mi>y</mi><mo>=</mo><mn>1</mn><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><mi>y</mi><mo>=</mo><mn>1</mn><mo>)</mo></mrow></mrow><mrow><msubsup><mi>&Pi;</mi><mrow><mi>a</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></msubsup><mi>p</mi><mrow><mo>(</mo><msub><mi>v</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow></msub><mo>|</mo><mi>y</mi><mo>=</mo><mn>0</mn><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><mi>y</mi><mo>=</mo><mn>0</mn><mo>)</mo></mrow></mrow></mfrac><mo>)</mo><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>a</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mi>log</mi><mo>(</mo><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><mi>y</mi><mo>=</mo><mn>1</mn><mo>)</mo></mrow></mrow><mrow><mi>p</mi><mrow><mo>(</mo><mi>y</mi><mo>=</mo><mn>0</mn><mo>)</mo></mrow></mrow></mfrac><mo>)</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000018.GIF" wi="1518" he="156" /></maths>式中,先验假设p(y=1)=p(y=0),y∈{0,1}代表二值分类的类标签;利用参数<img file="FDA0001137390420000019.GIF" wi="374" he="70" />控制条件概率分布形成高斯分布,<img file="FDA00011373904200000110.GIF" wi="574" he="71" /><img file="FDA00011373904200000111.GIF" wi="573" he="69" />标量参数<img file="FDA00011373904200000112.GIF" wi="219" he="77" />分别都是增量更新参数,<maths num="0002"><math><![CDATA[<mrow><msubsup><mi>&mu;</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow><mn>1</mn></msubsup><mo>&LeftArrow;</mo><msubsup><mi>&lambda;&mu;</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow><mn>1</mn></msubsup><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&lambda;</mi><mo>)</mo></mrow><msup><mi>&mu;</mi><mn>1</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000021.GIF" wi="1436" he="78" /></maths><maths num="0003"><math><![CDATA[<mrow><msubsup><mi>&sigma;</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow><mn>1</mn></msubsup><mo>&LeftArrow;</mo><msqrt><mrow><mi>&lambda;</mi><msup><mrow><mo>(</mo><msubsup><mi>&sigma;</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow><mn>1</mn></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&lambda;</mi><mo>)</mo></mrow><msup><mrow><mo>(</mo><msup><mi>&sigma;</mi><mn>1</mn></msup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>&lambda;</mi><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>&lambda;</mi><mo>)</mo></mrow><msup><mrow><mo>(</mo><msubsup><mi>&mu;</mi><mrow><mi>i</mi><mo>,</mo><mi>a</mi></mrow><mn>1</mn></msubsup><mo>-</mo><msup><mi>&mu;</mi><mn>1</mn></msup><mo>)</mo></mrow><mn>2</mn></msup></mrow></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000022.GIF" wi="1492" he="106" /></maths>式中,参数λ=0.85,<img file="FDA0001137390420000024.GIF" wi="1139" he="135" />经过朴素贝叶斯分类器处理后,每一个随机投影矩阵R<sub>i</sub>对应的都得到一个分类样本<img file="FDA0001137390420000027.GIF" wi="146" he="63" />步骤四、分别计算每一个分类样本<img file="FDA0001137390420000028.GIF" wi="119" he="62" />与初始目标样本的直方图统计信息对比度、与前一帧目标样本的特征直方图统计信息对比度、目标区域与目标所处的背景区域的直方图统计信息三个对比度信息;令分类样本<img file="FDA0001137390420000029.GIF" wi="118" he="63" />的像素直方图为H<sub>cur</sub>(i),初始目标样本的像素直方图为H<sub>init</sub>,<maths num="0004"><math><![CDATA[<mrow><msub><mi>Sim</mi><mi>i</mi></msub><mrow><mo>(</mo><msub><mi>H</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mo>(</mo><mi>i</mi><mo>)</mo><mo>,</mo><msub><mi>H</mi><mrow><mi>i</mi><mi>n</mi><mi>i</mi><mi>t</mi></mrow></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mo>(</mo><mrow><mn>1</mn><mo>-</mo><mfrac><mrow><mo>|</mo><msub><mi>H</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>H</mi><mrow><mi>i</mi><mi>n</mi><mi>i</mi><mi>t</mi></mrow></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>|</mo></mrow><mrow><mi>M</mi><mi>a</mi><mi>x</mi><mo>(</mo><msub><mi>H</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>,</mo><msub><mi>H</mi><mrow><mi>i</mi><mi>n</mi><mi>i</mi><mi>t</mi></mrow></msub><mo>)</mo></mrow></mfrac></mrow><mo>)</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000025.GIF" wi="1421" he="149" /></maths>式中,N=256;根据Sim<sub>i</sub>(H<sub>cur</sub>(i),H<sub>init</sub>)的大小排序,从大到小分别赋予直方图对比度权重信息(λ<sub>1</sub>,λ<sub>2</sub>,…,λ<sub>m</sub>),其中λ<sub>1</sub>&gt;λ<sub>2</sub>&gt;,…,&gt;λ<sub>m</sub>;计算像素直方图相似度Sim<sub>i</sub>(H<sub>cur</sub>(i),H<sub>init</sub>)并根据Sim<sub>i</sub>(H<sub>cur</sub>(i),H<sub>init</sub>)的大小排序,从大到小分别赋予直方图对比度权重信息(λ<sub>1</sub>,λ<sub>2</sub>,…,λ<sub>m</sub>),其中λ<sub>1</sub>&gt;λ<sub>2</sub>&gt;,…,&gt;λ<sub>m</sub>;令分类样本<img file="FDA00011373904200000210.GIF" wi="123" he="63" />的特征直方图为T<sub>cur</sub>(i),前一帧目标样本的特征直方图为T<sub>pre</sub>(i),<maths num="0005"><math><![CDATA[<mrow><mi>D</mi><mi>i</mi><mi>s</mi><mrow><mo>(</mo><msub><mi>T</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mo>(</mo><mi>i</mi><mo>)</mo><mo>,</mo><msub><mi>T</mi><mrow><mi>p</mi><mi>r</mi><mi>e</mi></mrow></msub><mo>(</mo><mi>i</mi><mo>)</mo><mo>)</mo></mrow><mo>=</mo><msqrt><mrow><mn>1</mn><mo>-</mo><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mfrac><msqrt><mrow><msub><mi>T</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>T</mi><mrow><mi>p</mi><mi>r</mi><mi>e</mi></mrow></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></msqrt><mrow><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>T</mi><mrow><mi>c</mi><mi>u</mi><mi>r</mi></mrow></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><munderover><mo>&Sigma;</mo><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>T</mi><mrow><mi>p</mi><mi>r</mi><mi>e</mi></mrow></msub><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow></mrow></mfrac></mrow></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000026.GIF" wi="1419" he="235" /></maths>根据Dis(T<sub>cur</sub>(i),T<sub>pre</sub>(i))的大小排序,从大到小分别赋予特征直方图对比度权重信息(δ<sub>1</sub>,δ<sub>2</sub>,…,δ<sub>m</sub>),其中δ<sub>1</sub>&gt;δ<sub>2</sub>&gt;,…,&gt;δ<sub>m</sub>;计算特征相似度Dis(T<sub>cur</sub>(i),T<sub>pre</sub>(i))并根据Dis(T<sub>cur</sub>(i),T<sub>pre</sub>(i))的大小排序,从大到小分别赋予特征直方图对比度权重信息(δ<sub>1</sub>,δ<sub>2</sub>,…,δ<sub>m</sub>),其中δ<sub>1</sub>&gt;δ<sub>2</sub>&gt;,…,&gt;δ<sub>m</sub>;令目标的像素特征直方图为H<sub>obj</sub>(i),背景样本的像素特征直方图为H<sub>bg</sub>(i),分别计算目标和背景的概率密度并进行归一化得到p(i)=H<sub>obj</sub>(i)/n<sub>obj</sub>,q(i)=H<sub>bg</sub>(i)/n<sub>bg</sub>,n<sub>obj</sub>、n<sub>bg</sub>分别代表目标样本和背景样本的数量,p(i)、q(i)分别代表目标样本和背景样本的离散概率密度;利用p(i)、q(i)得到似然函数,<maths num="0006"><math><![CDATA[<mrow><mi>L</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mi>l</mi><mi>o</mi><mi>g</mi><mfrac><mrow><mi>m</mi><mi>a</mi><mi>x</mi><mo>{</mo><mi>p</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>,</mo><mi>&delta;</mi><mo>}</mo></mrow><mrow><mi>m</mi><mi>a</mi><mi>x</mi><mo>{</mo><mi>q</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>,</mo><mi>&delta;</mi><mo>}</mo></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000031.GIF" wi="1390" he="127" /></maths>式中,δ=0.001,防止log出现为0的情况;通过计算L(i)的方差判断目标样本特征和背景样本特征的差异度,利用方差计算公式var(x)=Ex<sup>2</sup>‑(Ex)<sup>2</sup>得到<maths num="0007"><math><![CDATA[<mrow><mi>var</mi><mrow><mo>(</mo><mi>L</mi><mo>;</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mo>=</mo><munder><mo>&Sigma;</mo><mi>i</mi></munder><mi>a</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><msup><mi>L</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><msup><mrow><mo>&lsqb;</mo><munder><mo>&Sigma;</mo><mi>i</mi></munder><mi>a</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mi>L</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000032.GIF" wi="1437" he="103" /></maths>式中,a(i)是概率密度函数;得到似然函数的方差比公式<maths num="0008"><math><![CDATA[<mrow><mi>V</mi><mi>R</mi><mrow><mo>(</mo><mi>L</mi><mo>;</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mo>&equiv;</mo><mfrac><mrow><mi>var</mi><mrow><mo>(</mo><mi>L</mi><mo>;</mo><mo>(</mo><mi>p</mi><mo>+</mo><mi>q</mi><mo>)</mo></mrow><mo>/</mo><mn>2</mn><mo>)</mo></mrow><mrow><mi>var</mi><mrow><mo>(</mo><mi>L</mi><mo>;</mo><mi>p</mi><mo>)</mo></mrow><mo>+</mo><mi>var</mi><mrow><mo>(</mo><mi>L</mi><mo>;</mo><mi>q</mi><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001137390420000033.GIF" wi="1428" he="132" /></maths>式中,L(i)为似然函数,var(x)为方差公式;根据直方图对比度VR<sub>i</sub>的大小排序,从大到小分别赋予特征直方图对比度权重信息(η<sub>1</sub>,η<sub>2</sub>,…,η<sub>m</sub>),其中η<sub>1</sub>&gt;η<sub>2</sub>&gt;,…,&gt;η<sub>m</sub>;根据三个对比度信息得到每一个分类样本<img file="FDA0001137390420000035.GIF" wi="117" he="63" />的权值总量<img file="FDA0001137390420000034.GIF" wi="1438" he="71" />式中,ω<sub>s</sub>=0.4、ω<sub>f</sub>=0.3、ω<sub>d</sub>=0.3;当w(R<sub>i</sub>)&lt;N<sub>dynamic</sub>时,重新生成一个新的稀疏投影矩阵R<sub>i</sub>'代替当前的R<sub>i</sub>,从而实现动态稀疏投影矩阵的更新;选取w(R<sub>i</sub>)权值最大的R<sub>i</sub>所对应的分类样本作为当前帧的目标跟踪结果。
地址 710072 陕西省西安市友谊西路127号