发明名称 一种窄带背景探测的快速双循环水平集方法
摘要 本发明公开了一种窄带背景探测的快速双循环水平集方法,首先将视频各帧予以超像素分割,在首帧根据前景显著图初始化水平集核函数和前景轮廓像素,并建立基于超像素的前景特征池和窄带背景特征池;计算双链环像素上各点属于前景和窄带背景的颜色概率值和纹理概率值,加权作为该点的区域竞争项,由区域竞争项的符号可驱动水平集双循环过程,更新水平集核函数、前景轮廓像素和特征池;在前景轮廓精准化阶段,基于极大似然后验概率原理,将前景似然模型和窄带背景似然模型的比值,作为新的区域竞争项,驱动水平集双循环过程进一步精细化前景轮廓;本发明基于复杂室外环境的道路场景视频,有效实现运动前景的轮廓跟踪,跟踪速度快,方法简单有效。
申请公布号 CN104036500A 申请公布日期 2014.09.10
申请号 CN201410239863.4 申请日期 2014.05.30
申请人 西安交通大学 发明人 刘跃虎;李垚辰;苏远歧;杨旸;张驰
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 西安智大知识产权代理事务所 61215 代理人 何会侠
主权项 一种窄带背景探测的快速双循环水平集方法,其特征在于:包括如下步骤:步骤1:初始的轮廓像素L<sub>out</sub>和L<sub>in</sub>根据用户的输入笔画,由前景的超像素显著图予以提取,其中前景的超像素显著图由超像素直方图的巴氏距离予以衡量,生成初始的轮廓曲线,定义水平集核函数Φ(x),Φ(x)定义如下:<img file="FDA0000514576810000011.GIF" wi="1375" he="409" />其中模糊像素表示该像素处的颜色和纹理特征,与其临近的前景和背景区域都比较相近,难以区分;步骤2:在前景轮廓演变的第一阶段,依据Mumford‑Shah方程和其上定义的水平集方程,定义能量函数如下:<img file="FDA0000514576810000012.GIF" wi="1858" he="197" />其中E<sub>d</sub>代表当前场景的数据依赖项,E<sub>s</sub>代表曲线平滑项,与曲线的长度成正比,μ,λ<sub>1</sub>和λ<sub>2</sub>代表权重系数,f(x)为x坐标处的特征向量,H为Heaviside分布,Ω<sub>m</sub>为第m个前景区域,Ω<sub>b</sub>为Ω<sub>m</sub>区域周围宽度为ω<sub>NB</sub>的窄带背景区域,Ω<sub>b</sub>定义为:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mrow><msub><mi>&Omega;</mi><mi>b</mi></msub><mo>=</mo><mo>{</mo><mi>x</mi><mo>&Element;</mo><mover><msub><mi>&Omega;</mi><mi>m</mi></msub><mo>&OverBar;</mo></mover><mo>|</mo><msub><mi>min</mi><mrow><mi>y</mi><mo>&Element;</mo><msub><mi>&Omega;</mi><mi>m</mi></msub></mrow></msub><mo>|</mo><mo>|</mo><mi>x</mi><mo>-</mo><mi>y</mi><mo>|</mo><mo>|</mo><mo>&le;</mo><msub><mi>&omega;</mi><mi>NB</mi></msub><mo>}</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000013.GIF" wi="1826" he="95" /></maths>轮廓曲线上各点的区域竞争项F<sub>d</sub>是基于颜色概率和纹理概率的加权计算所得:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msub><mi>F</mi><mi>d</mi></msub><mo>=</mo><mi>log</mi><mfrac><mrow><mi>p</mi><mrow><mo>(</mo><mi>f</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>m</mi></msub><mo>)</mo></mrow></mrow><mrow><mi>p</mi><mrow><mo>(</mo><mi>f</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>b</mi></msub><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000021.GIF" wi="1282" he="143" /></maths>s.t.f(x)=ω<sub>1</sub>·f<sub>C</sub>(x)+ω<sub>2</sub>·f<sub>T</sub>(x)其中:f(x)为像素x坐标处的特征值,f<sub>C</sub>(x)为像素x坐标处的颜色特征,f<sub>T</sub>(x)为像素x坐标处的纹理特征,Ω<sub>m</sub>代表前景区域,Ω<sub>b</sub>代表背景区域,ω<sub>1</sub>和ω<sub>2</sub>为权重系数;像素x坐标处的颜色概率计算如下:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>C</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>sup</mi><mrow><msub><mi>SP</mi><mi>fg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>&Element;</mo><msub><mi>Color</mi><mi>fg</mi></msub></mrow></munder><mo>{</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>C</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>SP</mi><mi>fg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>}</mo><mo>,</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>C</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>b</mi></msub></mrow><mo>)</mo></mrow><mo>=</mo><munder><mi>sup</mi><mrow><msub><mi>SP</mi><mi>bg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>&Element;</mo><msub><mi>Color</mi><mi>bg</mi></msub></mrow></munder><mo>{</mo><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>C</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>SP</mi><mi>bg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>}</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000022.GIF" wi="1936" he="119" /></maths>其中SP<sub>fg</sub>{i}为前景区域内第i个超像素颜色分布,SP<sub>bg</sub>{i}为窄带背景区域内第i个超像素颜色分布,color<sub>fg</sub>和color<sub>bg</sub>分别代表前景和窄带背景区域的基于超像素的颜色特征池;像素x坐标处前景区域和背景区域的纹理概率计算分别如下:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>T</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>sup</mi><mrow><msub><mi>M</mi><mi>fg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>&Element;</mo><msub><mi>Texture</mi><mi>fg</mi></msub></mrow></munder><mi>exp</mi><mrow><mo>(</mo><mi>r</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>T</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><msub><mi>M</mi><mi>fg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>)</mo></mrow><mo>)</mo></mrow><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000023.GIF" wi="1818" he="116" /></maths><maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>T</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>&Omega;</mi><mi>b</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>sup</mi><mrow><msub><mi>M</mi><mi>bg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>&Element;</mo><msub><mi>Texture</mi><mi>bg</mi></msub></mrow></munder><mi>exp</mi><mrow><mo>(</mo><mi>r</mi><mrow><mo>(</mo><msub><mi>f</mi><mi>T</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><msub><mi>M</mi><mi>bg</mi></msub><mo>{</mo><mi>i</mi><mo>}</mo><mo>)</mo></mrow><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000024.GIF" wi="908" he="109" /></maths>其中:f<sub>T</sub>(x)为像素x坐标处的N<sub>T</sub>×N<sub>T</sub>图像块的纹理直方图,M<sub>fg</sub>{i}为前景纹理特征池Texture<sub>fg</sub>中第i个聚类中心,M<sub>bg</sub>{i}为背景纹理特征池Texture<sub>bg</sub>中第i个聚类中心,r(f<sub>T</sub>(x),M<sub>fg</sub>{i})代表f<sub>T</sub>(x)与M<sub>fg</sub>{i}的互相关系数,r(f<sub>T</sub>(x),M<sub>bg</sub>{i})代表f<sub>T</sub>(x)与M<sub>bg</sub>{i}的互相关系数;步骤3:由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程,将上一帧的双链环轮廓像素传播到下一帧,并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池;步骤4:在前景轮廓演变的第二阶段即精准化阶段,基于极大似然后验概率的前景似然模型及窄带背景似然模型,定义新的区域竞争项,并提出轮廓曲线精细化算法,具体步骤包括:1)极大似然后验概率表达式如下:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mfenced open='' close=''><mtable><mtr><mtd><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>*</mo></mrow></msubsup><mo>=</mo><munder><mrow><mi>arg</mi><mi>max</mi></mrow><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup></munder><mi>p</mi><mrow><mo>(</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msub><mi>I</mi><mi>t</mi></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>=</mo><munder><mrow><mi>arg</mi><mi>max</mi></mrow><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup></munder><munder><mi>&Pi;</mi><mrow><mi>x</mi><mo>&Element;</mo><mi>D</mi></mrow></munder><mi>p</mi><mrow><mo>(</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mi>p</mi><mrow><mo>(</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000031.GIF" wi="1712" he="242" /></maths>其中:<img file="FDA0000514576810000032.GIF" wi="79" he="74" />和<img file="FDA0000514576810000033.GIF" wi="93" he="77" />分别为I<sub>t</sub>和I<sub>t‑1</sub>的第m个前景区域,*代表待求区域,D为图像域;2)由极大似然后验概率表达式,推导出能量函数:<img file="FDA0000514576810000034.GIF" wi="1779" he="304" />3)基于极大似然后验概率的表达式,新的区域竞争项定义如下:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msub><mi>F</mi><mi>d</mi></msub><mo>=</mo><mi>log</mi><mfrac><mrow><msub><mi>p</mi><mi>FG</mi></msub><mrow><mo>(</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>)</mo></mrow></mrow><mrow><msub><mi>p</mi><mi>NB</mi></msub><mrow><mo>(</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000035.GIF" wi="1759" he="180" /></maths>认为从I<sub>t</sub>时刻到I<sub>t‑1</sub>时刻的非刚性转换可由速度场v和附加的高斯白噪声b组成:I<sub>t</sub>(x+v(x))=I<sub>t‑1</sub>(x)+b(x) (11)其中:b是均值为0,方差为<img file="FDA0000514576810000036.GIF" wi="66" he="81" />的高斯分布,v是均值为v<sub>O</sub>(x),方差为<img file="FDA0000514576810000037.GIF" wi="66" he="80" />的高斯分布,v<sub>O</sub>(x)是从I<sub>t</sub>时刻到I<sub>t‑1</sub>时刻的光流图,在x坐标处的值;那么:<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><mfenced open='' close=''><mtable><mtr><mtd><msub><mi>p</mi><mi>FG</mi></msub><mrow><mo>(</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>&ap;</mo><munder><mi>sup</mi><mrow><mi>y</mi><mo>&Element;</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup></mrow></munder><mo>{</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>|</mo><mo>|</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><msup><mrow><mo>(</mo><msubsup><mrow><mn>2</mn><mi>&sigma;</mi></mrow><mi>b</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>|</mo><mo>|</mo><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mi>v</mi><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><msup><mrow><mo>(</mo><msubsup><mrow><mn>2</mn><mi>&sigma;</mi></mrow><mi>v</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>)</mo></mrow><mo>}</mo></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000514576810000038.GIF" wi="1780" he="244" /></maths><maths num="0009" id="cmaths0009"><math><![CDATA[<mfenced open='' close=''><mtable><mtr><mtd><msub><mi>p</mi><mi>NB</mi></msub><mrow><mo>(</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>|</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mo>,</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mo>&ap;</mo><munder><mi>sup</mi><mrow><mi>y</mi><mo>&Element;</mo><msubsup><mi>&Omega;</mi><mi>m</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup></mrow></munder><mo>{</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>|</mo><mo>|</mo><msub><mi>I</mi><mi>t</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>I</mi><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msub><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><msup><mrow><mo>(</mo><msubsup><mrow><mn>2</mn><mi>&sigma;</mi></mrow><mi>b</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo><mi>exp</mi><mrow><mo>(</mo><mo>-</mo><msup><mrow><mo>|</mo><mo>|</mo><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mi>v</mi><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><msup><mrow><mo>(</mo><msubsup><mrow><mn>2</mn><mi>&sigma;</mi></mrow><mi>v</mi><mn>2</mn></msubsup><mo>)</mo></mrow><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>)</mo></mrow><mo>}</mo></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000514576810000039.GIF" wi="1310" he="232" /></maths>4)由轮廓曲线上各点区域竞争项的符号驱动水平集双循环过程,将上一帧的双链环轮廓像素传播到下一帧,并更新水平集核函数、前景超像素特征池和窄带背景超像素特征池。
地址 710049 陕西省西安市咸宁路28号