发明名称 一种信息损耗约束的沙尘图像清晰化方法
摘要 本发明公开了一种信息损耗约束的沙尘图像清晰化方法,步骤包括:建立大气光的成像模型,步骤1、计算大气光分量;步骤2、计算透射率的粗略估计值,得到整个原始图像的粗略透射率;步骤3、对粗略透射率进行细化,得到细化后的整幅图像的透射率;步骤4、得到最终恢复的目标图像,获得基于沙尘原始图像的清晰化后的目标图像,即成。本发明的方法实现了对沙尘条件下所拍摄的图像进行清晰化处理,对不同退化程度及色偏程度的沙尘图像均有较好的清晰化效果,能恢复有原图中有效的信息,丰富细节,抑制光晕,在提升对比度的同时,保持良好的场景色彩,适用于不同程度的雾霾、沙尘天气下的图像清晰化。
申请公布号 CN105427266A 申请公布日期 2016.03.23
申请号 CN201610003643.0 申请日期 2016.01.04
申请人 西安理工大学 发明人 朱虹;余顺园;付争方
分类号 G06T5/00(2006.01)I 主分类号 G06T5/00(2006.01)I
代理机构 西安弘理专利事务所 61214 代理人 王奇
主权项 一种信息损耗约束的沙尘图像清晰化方法,其特征在于,该方法按照以下步骤具体实施:建立大气光的成像模型如下式:I<sup>C</sup>(x)=J<sup>C</sup>(x)·t(x)+A<sup>C</sup>·(1‑t(x)),C=R,G,B,x∈image   (1)其中,x为原始图像的像素坐标,x∈image是指相应图像中所有的像素;I<sup>C</sup>(x)是采集到的退化的原始图像;J<sup>C</sup>(x)是待求的目标图像;t(x)是透射率,其取值范围是[0,1];A<sup>C</sup>是大气光分量,R,G,B分别表示对应图像的红色、绿色、蓝色三个颜色通道的值,步骤1、计算大气光分量A<sup>C</sup>假设在最小的透射率t<sub>min</sub>作用下,待恢复的目标图像满足灰色世界假设,对于式(1),对等式两边求均值后得:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msup><mover><mi>I</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>=</mo><msup><mover><mi>J</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>&CenterDot;</mo><msub><mi>t</mi><mi>min</mi></msub><mo>+</mo><msup><mi>A</mi><mi>C</mi></msup><mo>&CenterDot;</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><msub><mi>t</mi><mi>min</mi></msub><mo>)</mo></mrow><mo>,</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000011.GIF" wi="1117" he="79" /></maths>其中,<img file="FDA0000899785380000012.GIF" wi="61" he="63" />为所采集的原始图像的三个颜色通道的均值,t<sub>min</sub>为透过沙尘层的最小透过率,即:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msup><mover><mi>I</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>=</mo><mfrac><mn>1</mn><msub><mi>N</mi><mrow><mi>i</mi><mi>m</mi><mi>a</mi><mi>g</mi><mi>e</mi></mrow></msub></mfrac><mo>&CenterDot;</mo><munder><mo>&Sigma;</mo><mrow><mi>x</mi><mo>&Element;</mo><mi>i</mi><mi>m</mi><mi>a</mi><mi>g</mi><mi>e</mi></mrow></munder><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000013.GIF" wi="1076" he="142" /></maths><img file="FDA0000899785380000017.GIF" wi="124" he="63" />为原始图像的像素总个数,x∈image,<img file="FDA0000899785380000014.GIF" wi="70" he="63" />为目标图像的均值,因为满足灰色世界假设,因此则有:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msup><mover><mi>J</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>=</mo><mfrac><mn>1</mn><mn>3</mn></mfrac><mo>&CenterDot;</mo><munder><mo>&Sigma;</mo><mrow><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi></mrow></munder><msup><mover><mi>I</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>,</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000015.GIF" wi="1001" he="141" /></maths>将t<sub>min</sub>、式(3)以及式(4)计算得到的<img file="FDA0000899785380000016.GIF" wi="197" he="63" />和C=R,G,B带入式(2)中,计算得到大气光分量A<sup>C</sup>如下:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msup><mi>A</mi><mi>C</mi></msup><mo>=</mo><mrow><mo>(</mo><msup><mover><mi>I</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>-</mo><msup><mover><mi>J</mi><mo>&OverBar;</mo></mover><mi>C</mi></msup><mo>&CenterDot;</mo><msub><mi>t</mi><mrow><mi>m</mi><mi>i</mi><mi>n</mi></mrow></msub><mo>)</mo></mrow><mo>/</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><msub><mi>t</mi><mi>min</mi></msub><mo>)</mo></mrow><mo>,</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>;</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000021.GIF" wi="1257" he="78" /></maths>步骤2、计算透射率的粗略估计值<img file="FDA0000899785380000022.GIF" wi="95" he="71" />2.1)选取局部观测窗Ω<sup>C</sup>假设局部区域内场景的深度连续平滑,因此在透射率估计过程中选取的局部观测窗,局部观测窗的大小为w×w,采集到的原始图像大小为m×n,其中函数int()表示取整数运算;2.2)初始化,设置局部观测窗Ω<sup>C</sup>内的透射率初值t<sub>initial</sub>=t<sub>min</sub>;2.3)计算局部观测窗内的透射率和信息损耗令<img file="FDA0000899785380000023.GIF" wi="278" he="71" />x<sub>w</sub>∈Ω<sup>C</sup>,带入式(6)中,计算对应区域的初始恢复的目标图像<img file="FDA0000899785380000024.GIF" wi="183" he="84" />x<sub>w</sub>∈Ω<sup>C</sup>,C=R,G,B:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><msup><mover><mi>J</mi><mo>^</mo></mover><mi>C</mi></msup><mrow><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msup><mi>I</mi><mi>C</mi></msup><mrow><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo></mrow><mo>-</mo><msup><mi>A</mi><mi>C</mi></msup><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mover><mi>t</mi><mo>^</mo></mover><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo><mo>)</mo></mrow></mrow><mrow><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo></mrow></mrow></mfrac><mo>,</mo><msub><mi>x</mi><mi>w</mi></msub><mo>&Element;</mo><msup><mi>&Omega;</mi><mi>C</mi></msup><mo>,</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>;</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000025.GIF" wi="1382" he="143" /></maths>2.4)统计<img file="FDA0000899785380000026.GIF" wi="158" he="78" />中的信息损耗,x<sub>w</sub>∈Ω<sup>C</sup>,C=R,G,B,即R,G,B三个颜色通道的像素溢出总数N<sub>loss</sub>:<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><msub><mi>N</mi><mrow><mi>l</mi><mi>o</mi><mi>s</mi><mi>s</mi></mrow></msub><mo>=</mo><mi>N</mi><mi>u</mi><mi>m</mi><mrow><mo>(</mo><msup><mover><mi>J</mi><mo>^</mo></mover><mi>C</mi></msup><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo><mo>&lt;</mo><mn>0</mn><mo>|</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow><mo>+</mo><mi>N</mi><mi>u</mi><mi>m</mi><mrow><mo>(</mo><msup><mover><mi>J</mi><mo>^</mo></mover><mi>C</mi></msup><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo><mo>&gt;</mo><mn>255</mn><mo>|</mo><mi>C</mi><mo>=</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>,</mo><msub><mi>x</mi><mi>w</mi></msub><mo>&Element;</mo><msup><mi>&Omega;</mi><mi>C</mi></msup><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000027.GIF" wi="1756" he="86" /></maths>其中,函数Num()表示统计满足条件要求的像素个数的操作;2.5)更新局部观测窗内的透射率预先设定阈值Th,若N<sub>loss</sub>大于预先设定阈值Th,则表明信息损耗过大,估计出的透射率不准确,这时,对t<sub>initial</sub>以步长Δt加大透射率,即:<maths num="0007" id="cmaths0007"><math><![CDATA[<mrow><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><msub><mi>x</mi><mi>w</mi></msub><mo>)</mo></mrow><mo>=</mo><msub><mi>t</mi><mrow><mi>i</mi><mi>n</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>a</mi><mi>l</mi></mrow></msub><mo>+</mo><mi>&Delta;</mi><mi>t</mi><mo>,</mo><msub><mi>x</mi><mi>w</mi></msub><mo>&Element;</mo><msup><mi>&Omega;</mi><mi>C</mi></msup><mo>;</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000028.GIF" wi="1044" he="79" /></maths>2.6)令<img file="FDA0000899785380000029.GIF" wi="284" he="78" />x<sub>w</sub>∈Ω<sup>C</sup>,返回步骤2.3),进行重复操作,直到N<sub>loss</sub><Th,转步骤2.7);2.7)计算整个原始图像的粗略透射率将局部观测窗无重叠平移,重复步骤2.2)至步骤2.6),遍历整个原始图像,即得到整个原始图像的粗略透射率<img file="FDA0000899785380000031.GIF" wi="125" he="71" />x∈image;步骤3、对粗略透射率进行细化3.1)描述场景深度的导向图I<sub>guide</sub>(x)的计算式如下:<maths num="0008" id="cmaths0008"><math><![CDATA[<mrow><msub><mi>I</mi><mrow><mi>g</mi><mi>u</mi><mi>i</mi><mi>d</mi><mi>e</mi></mrow></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mrow><mi>C</mi><mo>&Element;</mo><mo>{</mo><mi>R</mi><mo>,</mo><mi>G</mi><mo>,</mo><mi>B</mi><mo>}</mo></mrow></munder><msup><mi>I</mi><mi>C</mi></msup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>,</mo><mi>x</mi><mo>&Element;</mo><mi>i</mi><mi>m</mi><mi>a</mi><mi>g</mi><mi>e</mi><mo>;</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000032.GIF" wi="1206" he="103" /></maths>3.2)建立能量方程如下:t(x<sub>k</sub>)=a<sub>k</sub>·I<sub>guide</sub>(x<sub>k</sub>)+b<sub>k</sub>,x<sub>k</sub>∈ω<sub>k</sub>,      (10)其中,ω<sub>k</sub>是细化过程中局部观测窗,其大小与步骤2.1)中的局部观察窗Ω<sup>C</sup>的大小相同,两个系数α<sub>k</sub>和b<sub>k</sub>的计算公式如下:<maths num="0009" id="cmaths0009"><math><![CDATA[<mrow><msub><mi>a</mi><mi>k</mi></msub><mo>=</mo><mfrac><mrow><mfrac><mn>1</mn><msub><mi>N</mi><msub><mi>&omega;</mi><mi>k</mi></msub></msub></mfrac><mo>&CenterDot;</mo><msub><mi>&Sigma;</mi><mrow><msub><mi>x</mi><mi>k</mi></msub><mo>&Element;</mo><msub><mi>&omega;</mi><mi>k</mi></msub></mrow></msub><mo>&lsqb;</mo><msub><mi>I</mi><mrow><mi>g</mi><mi>u</mi><mi>i</mi><mi>d</mi><mi>e</mi></mrow></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>)</mo></mrow><mo>&CenterDot;</mo><mover><mi>t</mi><mo>^</mo></mover><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>&mu;</mi><mi>k</mi></msub><mo>&CenterDot;</mo><msup><msub><mi>&mu;</mi><mover><mi>t</mi><mo>^</mo></mover></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow></msup><mo>&rsqb;</mo></mrow><mrow><msubsup><mi>&sigma;</mi><mi>k</mi><mn>2</mn></msubsup><mo>+</mo><mi>&epsiv;</mi></mrow></mfrac><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000033.GIF" wi="1270" he="214" /></maths><maths num="0010" id="cmaths0010"><math><![CDATA[<mrow><msub><mi>b</mi><mi>k</mi></msub><mo>=</mo><msup><msub><mi>&mu;</mi><mover><mi>t</mi><mo>^</mo></mover></msub><mrow><mo>(</mo><mi>k</mi><mo>)</mo></mrow></msup><mo>-</mo><msub><mi>a</mi><mi>k</mi></msub><mo>&CenterDot;</mo><msub><mi>&mu;</mi><mi>k</mi></msub><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000899785380000034.GIF" wi="1287" he="79" /></maths>其中的μ<sub>k</sub>和<img file="FDA0000899785380000035.GIF" wi="65" he="79" />分别是I<sub>guide</sub>(x<sub>k</sub>)在ω<sub>k</sub>内的均值和方差,x<sub>k</sub>∈ω<sub>k</sub>;<img file="FDA0000899785380000036.GIF" wi="86" he="71" />是ω<sub>k</sub>内像素的总数;<img file="FDA0000899785380000037.GIF" wi="100" he="87" />是<img file="FDA0000899785380000038.GIF" wi="111" he="71" />在ω<sub>k</sub>内的均值;ε是为了防止分母为零而设置的一个极小的值;3.3)将得到的a<sub>k</sub>,b<sub>k</sub>,带入式(10)得到细化后的透射率t(x<sub>k</sub>),x<sub>k</sub>∈ω<sub>k</sub>;3.4)将局部观测窗ω<sub>k</sub>逐像素平移遍历整个原始图像,重复步骤3.2)和3.3),就可最终得到细化后的整幅图像的透射率t(x),x∈image;步骤4、得到最终恢复的目标图像根据步骤2和步骤3估计出来的大气光A<sup>C</sup>和透射率t(x),由下式计算得到最终的目标图像J<sup>C</sup>(x):J<sup>C</sup>(x)=(I<sup>C</sup>(x)‑A<sup>C</sup>)/t(x)+A<sup>C</sup>,C∈{R,G,B},x∈image, (14)获得基于沙尘原始图像的清晰化后的目标图像,即成。
地址 710048 陕西省西安市金花南路5号