发明名称 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
摘要 本发明涉及基于暗通道先验与最小图像熵的交通雾霾能见度检测方法。在图像特征提取模块,对待检测图像I经过暗通道先验处理,得到大气透射率的粗估计值,采用导向滤波边缘平滑算子对透射率粗估计值进行平滑细化处理,获得每个像素点的深度信息;在道路区域提取模块,采用区域增长方法提取I中的道路区域,所述区域增长包括设置初始种子点、设置目标增长区域、计算相邻灰度差的最小值、判断目标像素是否为道路区域、更新种子点等步骤;在能见度估计模块,计算该区域的最小图像熵,得到消光系数最优值,有效估计出雾霾能见度大小。本发明的优势是在求图像熵过程中加入目标兴趣区域提取步骤,减少了算法的计算量,提高了运算速度和鲁棒性。
申请公布号 CN105931220A 申请公布日期 2016.09.07
申请号 CN201610227754.X 申请日期 2016.04.13
申请人 南京邮电大学 发明人 周凯;成孝刚;李海波;谢世朋;熊健;谈苗苗
分类号 G06T7/00(2006.01)I;G06K9/32(2006.01)I;G06K9/46(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 南京知识律师事务所 32207 代理人 汪旭东
主权项 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法,其特征在于包括以下步骤:1)在白天雾霾条件下,采集道路监控的视频序列,选择其中一帧将其作为待检测图像I(x);2)计算大气透射率J(x)是由上述待检测图像I(x)得到的恢复图像,A是天空亮度,t(x)是图像透射率,则有雾图像形成模型为:I(x)=J(x)t(x)+A(1‑t(x))然后对上式求两次最小值运算,得到下式:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>c</mi><mo>&Element;</mo><mrow><mo>(</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi><mo>)</mo></mrow></mrow></munder><mrow><mo>(</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>&omega;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></munder><mo>(</mo><mrow><msup><mi>I</mi><mi>c</mi></msup><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow></mrow><mo>)</mo><mo>)</mo></mrow><mo>=</mo><mi>t</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>c</mi><mo>&Element;</mo><mrow><mo>(</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi><mo>)</mo></mrow></mrow></munder><mrow><mo>(</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>&omega;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></munder><mo>(</mo><mrow><msup><mi>J</mi><mi>c</mi></msup><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow></mrow><mo>)</mo><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>t</mi><mo>(</mo><mi>x</mi><mo>)</mo><mo>)</mo></mrow><msup><mi>A</mi><mi>c</mi></msup></mrow>]]></math><img file="FDA0000964429270000011.GIF" wi="1206" he="112" /></maths>其中J<sup>c</sup>和I<sup>c</sup>表示图像的每个通道,ω(x)表示以像素x为中心的一个窗口,对于任意的输入图像J(x),图像中至少一个颜色通道具有很低的值,即:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msup><mi>J</mi><mrow><mi>d</mi><mi>a</mi><mi>r</mi><mi>k</mi></mrow></msup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>&omega;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></munder><mrow><mo>(</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>c</mi><mo>&Element;</mo><mo>{</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi><mo>}</mo></mrow></munder><msup><mi>J</mi><mi>c</mi></msup><mo>(</mo><mi>y</mi><mo>)</mo><mo>)</mo></mrow><mo>&ap;</mo><mn>0</mn></mrow>]]></math><img file="FDA0000964429270000012.GIF" wi="679" he="120" /></maths>大气透射率估计如下:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>c</mi><mo>&Element;</mo><mrow><mo>(</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi><mo>)</mo></mrow></mrow></munder><mrow><mo>(</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>&omega;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></munder><mo>(</mo><mrow><msup><mi>I</mi><mi>c</mi></msup><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow></mrow><mo>)</mo><mo>)</mo></mrow><mo>=</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mi>t</mi><mo>(</mo><mi>x</mi><mo>)</mo><mo>)</mo></mrow><msup><mi>A</mi><mi>c</mi></msup></mrow>]]></math><img file="FDA0000964429270000013.GIF" wi="677" he="119" /></maths><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>t</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mn>1</mn><mo>-</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>c</mi><mo>&Element;</mo><mo>{</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi><mo>}</mo></mrow></munder><mrow><mo>(</mo><munder><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow><mrow><mi>y</mi><mo>&Element;</mo><mi>&omega;</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></munder><mo>(</mo><mfrac><mrow><msup><mi>I</mi><mi>c</mi></msup><mrow><mo>(</mo><mi>y</mi><mo>)</mo></mrow></mrow><msup><mi>A</mi><mi>c</mi></msup></mfrac><mo>)</mo><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000964429270000014.GIF" wi="613" he="143" /></maths>其中,天空亮度A是暗通道图中0.1%最亮像素点的均值大小;3)透射率优化调整对于像数k为中心的矩形窗w<sub>k</sub>,设t(x)经导向滤波后为<img file="FDA0000964429270000015.GIF" wi="116" he="63" />导向图像采用待检测图像I(x),滤波输出图像<img file="FDA0000964429270000016.GIF" wi="90" he="63" />与导向图像I(x)满足以下关系式:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>a</mi><mi>k</mi></msub><mi>I</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>b</mi><mi>k</mi></msub><mo>,</mo><mo>&ForAll;</mo><mi>i</mi><mo>&Element;</mo><msub><mi>w</mi><mi>k</mi></msub></mrow>]]></math><img file="FDA0000964429270000017.GIF" wi="486" he="66" /></maths>其中,(a<sub>k</sub>,b<sub>k</sub>)是矩形窗w<sub>k</sub>恒定不变的线性系数,采用如下费用函数来衡量t(x)与<img file="FDA0000964429270000018.GIF" wi="87" he="62" />的差异,即:<maths num="0006" id="cmaths0006"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><mrow><mi>E</mi><mrow><mo>(</mo><msub><mi>a</mi><mi>k</mi></msub><mo>,</mo><msub><mi>b</mi><mi>k</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mi>&Sigma;</mi><mrow><mi>i</mi><mo>&Element;</mo><msub><mi>w</mi><mi>k</mi></msub></mrow></munder><mrow><mo>(</mo><msup><mrow><mo>(</mo><mrow><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msubsup><mi>&epsiv;a</mi><mi>k</mi><mn>2</mn></msubsup><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><mo>=</mo><munder><mi>&Sigma;</mi><mrow><mi>i</mi><mo>&Element;</mo><msub><mi>w</mi><mi>k</mi></msub></mrow></munder><mrow><mo>(</mo><msup><mrow><mo>(</mo><mrow><mi>t</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>a</mi><mi>k</mi></msub><mi>I</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>b</mi><mi>k</mi></msub></mrow><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msubsup><mi>&epsiv;a</mi><mi>k</mi><mn>2</mn></msubsup><mo>)</mo></mrow></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000964429270000019.GIF" wi="821" he="245" /></maths>其中,ε是正则化参数,也是一个控制平滑程度的参数,然后利用线性回归求出像数k为中心的矩形窗w<sub>k</sub>对应的线性系数(a<sub>k</sub>,b<sub>k</sub>),即:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><msub><mi>a</mi><mi>k</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>cov</mi><mi>k</mi></msub><mrow><mo>(</mo><mi>I</mi><mo>,</mo><mi>t</mi><mo>)</mo></mrow></mrow><mrow><msubsup><mi>&sigma;</mi><mi>k</mi><mn>2</mn></msubsup><mo>+</mo><mi>&epsiv;</mi></mrow></mfrac></mrow>]]></math><img file="FDA0000964429270000021.GIF" wi="305" he="134" /></maths><maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><msub><mi>b</mi><mi>k</mi></msub><mo>=</mo><msub><mover><mi>t</mi><mo>&OverBar;</mo></mover><mi>k</mi></msub><mo>-</mo><msub><mi>a</mi><mi>k</mi></msub><msub><mi>&mu;</mi><mi>k</mi></msub></mrow>]]></math><img file="FDA0000964429270000022.GIF" wi="262" he="63" /></maths>其中,<img file="FDA0000964429270000023.GIF" wi="59" he="63" />和μ<sub>k</sub>分别表示图像I中矩形窗w<sub>k</sub>的方差和均值,<img file="FDA0000964429270000024.GIF" wi="38" he="61" />表示t在矩形窗w<sub>k</sub>中的均值,cov<sub>k</sub>(I,t)表示导向图像I与透射率图t在矩形窗w<sub>k</sub>中的互相关函数,由于像素i会被多个矩形窗包含在内,不同的矩形窗会得到不同的<img file="FDA0000964429270000025.GIF" wi="99" he="63" />然后取其所有可能值的均值:<maths num="0009" id="cmaths0009"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><mrow><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mrow><mo>|</mo><mi>w</mi><mo>|</mo></mrow></mfrac><munder><mi>&Sigma;</mi><mrow><mi>k</mi><mo>:</mo><mi>i</mi><mo>&Element;</mo><msub><mi>w</mi><mi>k</mi></msub></mrow></munder><mrow><mo>(</mo><msub><mi>a</mi><mi>k</mi></msub><mi>I</mi><mo>(</mo><mi>i</mi><mo>)</mo><mo>+</mo><msub><mi>b</mi><mi>k</mi></msub><mo>)</mo></mrow></mrow></mtd></mtr><mtr><mtd><mrow><mo>=</mo><msub><mover><mi>a</mi><mo>&OverBar;</mo></mover><mi>i</mi></msub><mi>I</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mover><mi>b</mi><mo>&OverBar;</mo></mover><mi>i</mi></msub></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000964429270000026.GIF" wi="535" he="215" /></maths>其中,|w|表示矩形窗里像素的个数,<img file="FDA0000964429270000027.GIF" wi="286" he="132" />且<img file="FDA0000964429270000028.GIF" wi="307" he="131" />4)计算深度信息针对道路图像,对于待检测图像I(x)中任意一车道线R(i)(i=1,2……n),可以得到对应的消光系数β(i):<maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><mi>&beta;</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mo>|</mo><mi>l</mi><mi>n</mi><mrow><mo>(</mo><msub><mi>t</mi><mn>1</mn></msub><mo>/</mo><msub><mi>t</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>|</mo></mrow><mi>L</mi></mfrac></mrow>]]></math><img file="FDA0000964429270000029.GIF" wi="333" he="175" /></maths>其中,L为车道线的国家标准长度大小,t<sub>1</sub>、t<sub>2</sub>分别为车道线两端在待检测图像对应位置优化后的透射率,设N表示待检测图像中车道线的个数,然后对消光系数取均值:<maths num="0011" id="cmaths0011"><math><![CDATA[<mrow><mover><mi>&beta;</mi><mo>&OverBar;</mo></mover><mo>=</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><mi>&beta;</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow>]]></math><img file="FDA00009644292700000210.GIF" wi="278" he="127" /></maths>对于待检测图像中的任意一个像数x,其对应位置的深度信息由以下公式计算得到,即:<maths num="0012" id="cmaths0012"><math><![CDATA[<mrow><mi>d</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mi>ln</mi><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow><mover><mi>&beta;</mi><mo>&OverBar;</mo></mover></mfrac><mo>,</mo><mo>&ForAll;</mo><mi>x</mi><mo>&Element;</mo><mi>I</mi><mo>;</mo></mrow>]]></math><img file="FDA00009644292700000211.GIF" wi="427" he="135" /></maths>5)道路区域提取采用区域增长方法提取待检测图像I(x)中的道路区域,取I(x)中道路区域最底端一行像素为增长的初始种子点,设种子的上一行像素点为目标区域,逐行处理像数点,用区域增长方法提取道路区域的步骤如下:(5.1)设置初始种子点为p<sub>s</sub>,当前种子点p=p<sub>s</sub>;(5.2)在目标区域选择与像素种子点上方相邻的三个像素,计算种子点与此三个像素的灰度差<img file="FDA0000964429270000031.GIF" wi="90" he="63" />(α取‑1,0,1分别表示与种子点相邻左上方、正上方和右上方像素);(5.3)计算相邻3个像素灰度差的最小值<img file="FDA0000964429270000032.GIF" wi="203" he="55" />(5.4)判断目标区域像数点p(u,v)与种子点均值mean(p)是否满足如下关系,即:<maths num="0013" id="cmaths0013"><math><![CDATA[<mrow><mi>p</mi><mrow><mo>(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo>)</mo></mrow><mo>-</mo><mi>m</mi><mi>e</mi><mi>a</mi><mi>n</mi><mrow><mo>(</mo><mi>p</mi><mo>)</mo></mrow><mo>&le;</mo><msub><mi>&rho;n</mi><mi>r</mi></msub><mi>min</mi><mi> </mi><msubsup><mi>G</mi><mrow><mi>m</mi><mi>a</mi><mi>x</mi></mrow><mi>&alpha;</mi></msubsup></mrow>]]></math><img file="FDA0000964429270000033.GIF" wi="669" he="63" /></maths>其中,ρ<1,n<sub>r</sub>是目标区域像数点p(u,v)与初始种子点p<sub>s</sub>相隔的行数,若满足,则将该像数点加入道路区域,遍历目标区域所有像素;若该行所有的像素均不满足该条件,区域增长终止;(5.5)更新当前种子点和目标区域,将新加入道路区域的像数点作为新的种子点,将新加入道路区域像数的上一行像素作为新的目标区域,更新结束后返回步骤5.2;6)能见度估计基于步骤5获得的道路区域和步骤4获得的深度信息,根据科希米德定律可以计算出恢复图像J(x),即:<maths num="0014" id="cmaths0014"><math><![CDATA[<mrow><mi>J</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mi>A</mi><mo>+</mo><mfrac><mrow><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>-</mo><mi>A</mi></mrow><msup><mi>e</mi><mrow><mo>-</mo><mi>&beta;</mi><mi>d</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow></msup></mfrac></mrow>]]></math><img file="FDA0000964429270000034.GIF" wi="396" he="118" /></maths>其中,β的取值范围为<img file="FDA0000964429270000035.GIF" wi="291" he="63" />τ的取值在0.01~0.02之间,对<img file="FDA0000964429270000036.GIF" wi="403" he="63" />计算恢复图像J(x)中提取到的道路区域的局部图像熵H为:H=‑E[log p(y)]=‑∑p(y)log p(y)其中,随机变量y表示灰度值,p(y)是关于y的概率密度函数,然后找到局部图像熵最小时对应的值即为消光系数最优值β<sup>*</sup>,最后根据能见度检测理论计算出能见度大小:<maths num="0015" id="cmaths0015"><math><![CDATA[<mrow><mi>V</mi><mo>=</mo><mfrac><mn>2.996</mn><msup><mi>&beta;</mi><mo>*</mo></msup></mfrac><mo>.</mo></mrow>]]></math><img file="FDA0000964429270000037.GIF" wi="243" he="127" /></maths>
地址 210003 江苏省南京市鼓楼区新模范马路66号