发明名称 一种最优对比度和最小信息损失的图像去雾方法
摘要 本发明涉及一种最优对比度和最小信息损失的图像去雾方法,其特征在于该方法利用利用高斯混合模型,四分树,最大化对比度和最小信息损失等函数实现了图像去雾方法。首先,基于高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类;其次,从图像的天空区域采用四分树迭代方法估计大气散射模型的大气光照强度;再次,对图像的非天空区域采用网格划分的方法分块,利用最大化对比度和最小信息损失的函数计算每个网格单元的大气光照模型的传播率;基于常系数和非天空区域的最优传播率估计天空区域的传播率;最后,合并输出天空区域和非天空区域的恢复图像。
申请公布号 CN104200445B 申请公布日期 2017.04.26
申请号 CN201410504518.9 申请日期 2014.09.26
申请人 常熟理工学院 发明人 谢从华;黄晓华;高蕴梅;乔伟伟;常晋义
分类号 G06T5/00(2006.01)I 主分类号 G06T5/00(2006.01)I
代理机构 江苏圣典律师事务所 32237 代理人 胡建华
主权项 一种最优对比度和最小信息损失的图像去雾方法,其特征在于,包括如下步骤:步骤1,建立基于McCartney大气散射模型的雾霾图像模型;步骤2,利用高斯混合模型和期望值最大算法把图像分割成天空区域和非天空区域两类;步骤3,基于四分树迭代的方法估计图像天空区域的大气光照强度;步骤4,基于网格划分的方法分块,基于最优对比度和最小信息损失准则估计的图像非天空区域的每个网格单元的传播率;步骤5,采用与图像非天空区域的平均传播率的常比例系数方法估计天空区域的传播率;步骤6,根据大气散射模型,利用估计的模型参数,合并输出天空和非天空区域的恢复图像;在雾霾条件下的图像光照模型为:I<sub>c</sub>(p)=t(p)J<sub>c</sub>(p)+(1‑t(p))A<sub>c</sub>,公式(1)其中,J<sub>c</sub>(p)和I<sub>c</sub>(p)分别表示原始图像和观测图像的像素点p,c∈{r,g,b}表示红、绿、蓝三种颜色通道;A<sub>c</sub>表示在沿着观测者视线方向无穷远处的大气光照强度,t(p)∈[0,1]表示沿光线的传播率,t(p)与场景深度成反比,计算公式为:t(p)=e<sup>‑ρd(p)</sup>,其中ρ为全散射系数,d(p)表示摄像头到像素点p的景深;所述步骤2中,设雾霾图像I的N个像素点{p<sub>1</sub>,p<sub>2</sub>,...,p<sub>N</sub>}是独立同分布,其中像素点p<sub>i</sub>对应的红、绿和蓝颜色值分别为I<sub>r</sub>(p<sub>i</sub>)、I<sub>g</sub>(p<sub>i</sub>)和I<sub>b</sub>(p<sub>i</sub>),1≤i≤N,即(p<sub>i</sub>=(I<sub>r</sub>(p<sub>i</sub>),I<sub>g</sub>(p<sub>i</sub>),I<sub>b</sub>(p<sub>i</sub>))<sup>T</sup>);雾霾图像灰度信息由较暗和较亮的两个高斯密度函数混合组成,则像素点p<sub>i</sub>的混合概率密度函数P表示为:<maths num="0001"><math><![CDATA[<mrow><mi>P</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><munderover><mo>&Sigma;</mo><mrow><mi>r</mi><mo>=</mo><mn>1</mn></mrow><mn>2</mn></munderover><msub><mi>&alpha;</mi><mi>r</mi></msub><msub><mi>f</mi><mi>r</mi></msub><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>,</mo><msub><mi>&theta;</mi><mi>r</mi></msub><mo>)</mo></mrow><mo>,</mo></mrow>]]></math><img file="FDA0001228136300000011.GIF" wi="588" he="166" /></maths>其中α<sub>r</sub>代表第r个密度分量在混合密度中的权重,满足α<sub>r</sub>≥0且<img file="FDA0001228136300000021.GIF" wi="261" he="85" />θ<sub>r</sub>={μ<sub>r</sub>,σ<sub>r</sub>}是第r个密度分量参数,其中μ<sub>r</sub>,σ<sub>r</sub>分别表示均值和方差,f<sub>r</sub>(p<sub>i</sub>,θ<sub>r</sub>)为第r个高斯密度函数分量;包括如下步骤:步骤21:采用模糊C均值算法对雾霾图像I初始划分为两个聚类,并初始化权重,均值和方差;步骤22:计算每个像素点分别属于两个模型的后验概率,并根据后验概率更新每一个模型的权重,均值和协方差;步骤23:用更新后的权重,均值和协方差更新后验概率,重新把每个像素划分到后验概率最大的类中,并计算图像的对数似然函数;步骤24:如果对数似然函数收敛,则停止迭代进行步骤25,否则返回步骤22;步骤25:利用贝叶斯准则把像素点划分到后验概率最大的模型,在分割后的两类结果中,选择两个模型中均值较大的一类为天空图像,另一部分为非天空图像;步骤3中,对分割后的天空图像进行迭代四分树定位和估计大气光照强度;对天空图像按照高度和宽度的二分之一处的位置对天空图像均匀划分为四块,然后计算每个分块的平局亮度值最大区域作为下一次划分的分块,迭代划分,直到分块小于指定的阈值结束;以最后分块颜色的平均值作为大气光照强度;步骤4包括:假设天空区域的传播率为t<sub>1</sub>,非天空区域的传播率为t<sub>2</sub>,且假设景深具有局部相似性,把图像按照16×16大小进行网格划分,假设每一个网格的传输率相同,根据雾霾图像模型的公式(1),当传播率固定时,原始图像J<sub>c</sub>(p)的非天空区域用下式计算:<img file="FDA0001228136300000022.GIF" wi="1019" he="127" />恢复原始图像依赖于传播率t<sub>2</sub>,依据最大化每一个网格的对比度和最小化信息损失的准则估计传播率;在原始图像J<sub>c</sub>(p)的每个颜色通道满足大于等于0且小于等于255的条件下,根据公式(7),得到:<img file="FDA0001228136300000031.GIF" wi="1284" he="127" />求解公式(8),传播率t<sub>2</sub>满足下式:<img file="FDA0001228136300000032.GIF" wi="1766" he="167" />步骤4‑1,基于最大化对比度的天空区域传播率计算:计算网格区域中每一个点与该点所在网格的均值之差的平方和为对比度C<sub>MSE</sub>:<img file="FDA0001228136300000033.GIF" wi="1446" he="157" />其中<img file="FDA0001228136300000034.GIF" wi="131" he="71" />为I<sub>c</sub>(p)所在网格B的均值,N<sub>B</sub>为网格B的像素点个数,根据公式(10)传播率t<sub>2</sub>与对比度成反比;在传播率t<sub>2</sub>满足公式(9)的约束下,非天空区域的传播率取最小值:<img file="FDA0001228136300000035.GIF" wi="1678" he="158" />步骤4‑2,基于信息损失最小的天空区域传播率优化:最优对比度会导致图像的最小部分的灰度值(0,α<sub>c</sub>)和最大部分的灰度值(β<sub>c</sub>,255)对应的信息丢失,c∈{r,g,b},α<sub>c</sub>和β<sub>c</sub>表示观测图像I<sub>c</sub>截断的区域的下溢参数和上溢参数值,下溢参数α<sub>c</sub>对应原始图像J<sub>c</sub>的灰度值0,上溢参数β<sub>c</sub>对应原始图像J<sub>c</sub>的灰度值255,分别代入公式(7),得到:α<sub>c</sub>=(1‑t<sub>2</sub>)A<sub>c</sub>                       公式(12),β<sub>c</sub>=255t<sub>2</sub>+(1‑t<sub>2</sub>)A<sub>c</sub>                  公式(13),计算原始图像J(p)在最大对比度变化之后的下溢区域面积和上溢区域面积作为信息损失函数,计算基于直方图的信息损失函数E<sub>loss</sub>,得到:<img file="FDA0001228136300000041.GIF" wi="1806" he="199" />其中h<sub>c</sub>(i)是像素i在颜色通道c的直方图,A<sub>c</sub>为颜色通道c的大气光照强度,为了同时满足最大化对比度和最小化损失函数的要求,根据拉格朗日乘数函数,转化为下面函数E(t<sub>2</sub>,λ)的极小值问题:E(t<sub>2</sub>,λ)=‑C<sub>MSE</sub>+λE<sub>loss</sub>                 (15)λ为控制对比度和信息损失的相对重要性权重,分别对公式(15)的t<sub>2</sub>和λ求变导,建立方程组<img file="FDA0001228136300000042.GIF" wi="614" he="318" />求解公式(16)的t<sub>2</sub>为非天空区域的最优传播率;根据公式(2),得到天空区域的点p<sub>1</sub>传播率t<sub>1</sub>和非天空区域的点p<sub>2</sub>传播率t<sub>2</sub>的比例系数:<maths num="0002"><math><![CDATA[<mrow><mfrac><msub><mi>t</mi><mn>1</mn></msub><msub><mi>t</mi><mn>2</mn></msub></mfrac><mo>=</mo><mfrac><msup><mi>e</mi><mrow><mo>-</mo><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo></mrow></mrow></msup><msup><mi>e</mi><mrow><mo>-</mo><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow></msup></mfrac><mo>=</mo><msup><mi>e</mi><mrow><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>-</mo><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo></mrow></mrow></msup><mo>=</mo><mi>b</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>17</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0001228136300000043.GIF" wi="766" he="199" /></maths>点p<sub>1</sub>的景深d(p<sub>1</sub>),点p<sub>2</sub>的景深d(p<sub>2</sub>),两者的距离之差为d(p<sub>2</sub>)‑d(p<sub>1</sub>),当天空区域与非天空区域像素点景深距离之差为1,2,5,10,15,20时,对应的传播率比例系数b为:d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑1,b为0.36787944117144,d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑2,b为0.13533528323661,d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑5,b为0.00673794699909,d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑10,b为0.00004539992976,d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑15,b为0.00000030590232,d(p<sub>2</sub>)‑d(p<sub>1</sub>)为‑20,b为0.00000000206115,假设图像中天空区域的传播率都相同,用非天空区域所有网格的传播率均值<img file="FDA0001228136300000052.GIF" wi="37" he="61" />乘以对应的传播率比例系数b计算天空区域的传播率:<maths num="0003"><math><![CDATA[<mrow><msub><mi>t</mi><mn>1</mn></msub><mo>=</mo><mi>b</mi><mover><msub><mi>t</mi><mn>2</mn></msub><mo>&OverBar;</mo></mover><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>18</mn><mo>)</mo></mrow><mo>.</mo></mrow>]]></math><img file="FDA0001228136300000051.GIF" wi="397" he="103" /></maths> 
地址 215500 江苏省苏州市常熟市南三环路99号