基于时空相关性的自适应交通视频实时去雾方法

摘要

基于时空相关性的自适应交通视频实时去雾方法，包括：步骤1、估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；步骤2、提取视频中的直线车道，确定一个有限的车道区域；步骤3、通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强；步骤4、划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；步骤5、获得每个图像块的最优透射率值的透射率分布，采用导向滤波对块状的透射率分布进行优化；步骤6、对车道空间区域部分的原图像像素值求解，还原出车道部分的无雾图像。

主权项

基于时空相关性的自适应交通视频实时去雾方法，包括如下步骤：步骤1、利用交通视频时间连续性，设立时间片，估算时间片初始帧的车道空间区域、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；在该段时间内其他图像帧的去雾还原过程中，采用初始帧计算获得的参数；一般情况下，交通视频都由固定在道路上的监控摄像头拍摄，一段时间内的场景相对统一，所以在考虑时间连续性时，可以将一个时间片段内的交通视频作为一个整体进行分析；因此，通过设立时间片，直接利用时间片初始帧估算该时间片内所有视频帧的参数，包括该段视频的车道空间区域范围、雾霾影响标志值T、初始透射率校正值X和透射率分布情况；步骤2、采用一种基于直线提取的交通视频图像车道空间分离算法，提取视频中的直线车道，确定一个有限的车道区域；由于一般拍摄的交通视频都有包含车道隔离带或其他背景信息，而在进行交通视频检测时，车辆识别、跟踪或事件检测主要的感兴趣区域都为车道部分，因此，可以利用车道的直线特征分离出车道空间，单独对车道进行去雾处理，减小待处理的图像，从而加速去雾；提取交通视频图像车道空间的具体步骤如下：Step21：通过边缘检测，获取视频图像中的边缘信息；Step22：利用Hough直线拟合，筛选掉角度明显有误的直线，获得候选的车道边界；Step23：找到候选车道边界中最左侧和最右侧的直线，设定为车道边界，并且找到车道边界的交点；Step24：由车道边界的交点及图像边界获得一个矩形规则车道区域，若交点在图像的范围外，则默认车道空间为整个图像空间；步骤3、采用一种基于四叉树细分的层次搜索方法进行大气光强估计，通过从原图像中找到雾霾干扰最小的区域，获取其中最亮的像素值作为大气光强；图像去雾方法的实现以求解雾天成像模型(1)为基础I(p)＝J(p)t(p)+A(1‑t(p))   (1)其中，p表示图像中的某个像素点：I(p)表示全部反射光线经过衰减后最终达到成像设备时的光线强度，即生成的带雾图像；t(p)表示达到成像设备且没有被散射的那部分光线的传播率，即光线穿透雾霾的能力参数，可称为透射率且t(p)∈[0,1]；J(p)表示景物目标直接反射的光强，即需要恢复的真实无雾图像；A描述的是观测者视线方向无穷远处的光照强度，可表示为全局的大气光强；因此，要求解模型(1)获取真实图像J(p)，需要首先获得大气光强A及透射率分布t(p)；本步骤进行大气光强估计，具体操作如下：Step31：将图像均匀分成四个区域；Step32：每个区域赋予一个权值S；权值S为该区域的像素均值与像素值标准差的差值；Step33：选择权值最大的区域作为下一个待处理的子图像；Step4：重复操作Step1～Step3，直至子图像的大小小于一个预先设定的阈值，可以设定为子图像长*宽小于200像素；在最后获取的区域中，找到像素I(p)，使||(Ir(p),Ig(p),Ib(P))‐(255,255,255)||最小，其中Ir(p)、Ig(p)、Ib(P)分别是像素I(p)的R、G、B分量，令该像素值为大气光强值；步骤4、根据交通监控摄像头的空间分布情况，划分空间范围，每一个空间范围都设定一个标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；随着交通网络布局的日益复杂，交通监控系统设置的数量也逐渐增加，很多时候同一路段有多个监控摄像头，甚至同一路段的不同车道也有专门的监控装置；这些摄像头拍摄的交通视频在物理上处于同一个场景空间，而且同一地区的摄像头其硬件指标通常情况下都是相同的；而天气情况也是一种具有空间区域特征的指标，比如在一定区域空间范围内的雾霾浓度都是类似的；对于完整的交通视频处理系统，系统内会接入多路摄像头数据，很多分布于同一空间区域的摄像头拍摄出的视频图像质量相近，因此，可以利用摄像头的空间区域分布特性加速多路摄像头的去雾处理速度，实现整个交通视频处理系统的性能优化；将空间距离相近的摄像头划分为统一区域，取其中的一个摄像头为标定摄像头，用该摄像头拍摄的图像计算雾霾影响标志值T、图像对比度及初始透射率校正值，应用到该区域的其他摄像头；因此，如果判定该摄像头不是标定摄像头，则可根据系统中已近获取该区域标定摄像头的相关参数，直接进行该摄像头透射率分布估算及优化；步骤5、采用自适应透射率估计方法，在获取雾霾影响标志值T及恒定的初始透射率校正值X后计算初始透射率；然后在图像对比度评价值及图像信息丢失情况之间寻找平衡点，在以初始透射率为起始值的固定范围内使代价函数E最小，从而获得每个图像块的最优透射率值的透射率分布；最后，采用导向滤波对块状的透射率分布进行优化；(a)获取雾霾影响标志值本发明引入图像雾霾影响标志值T和初始透射率校正值X，通过原图像的性质估算出初始透射率值，从而在不同雾霾干扰程度下的图像能估算出适合的透射率值；最终，透射率初始值为T*X；图像雾霾影响标志值T基于暗通道先验假设，即对于清晰的户外无雾图像，在没有天空的大多数区域中，总是存在这样一些像素，它们至少一个颜色通道具有很低的像素值，也就是说，这些像素的最小值趋近于零；对于任意的输入图像J，其暗通道的表达式为：$J^{\mathrm{dark}}\left(p\right)=\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c\in \{r,g,b\}}{\min }{J}_c\left(y\right)\right)---\left(2\right)$上式中J^dark(p)表示像素p的暗通道值，J_c(y)表示输入图像中y像素的值，下标C表示彩色图像的R/G/B三个通道，Ω(p)表示以像素p为中心的一个窗口，y表示以p为中心的窗口内的像素；而暗通道先验假设用数学公式的形式可以表示为J^dark→0；雾天成像模型(1)可变形为：$\frac{I_c\left(p\right)}{A_c}=t\left(p\right)\frac{J_c\left(p\right)}{A_c}+1-t\left(p\right)---\left(3\right)$其中下标C表示彩色图像的R/G/B三个通道，I_c(p)表示带雾图像R/G/B通道中像素p的值，J_c(p)表示无雾图像R/G/B通道中像素p的值；t(p)为像素p的透射率值；A_c为R/G/B通道中的大气光强估计值；设每一个窗口内透射率t(x)为常数值为t～(x)，并且大气光强A_c值已经给定，对式(3)两边求两次最小值运算：$\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)=\tilde{t}\left(p\right)\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)+1-\tilde{t}\left(p\right)---\left(4\right)$根据暗通道先验理论有：$J^{\mathrm{dark}}\left(p\right)=\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c}{\min }{J}_c\left(y\right)\right)=0---\left(5\right)$因此，可推导出：$\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c}{\min }\frac{J_c\left(y\right)}{A_c}\right)=0---\left(6\right)$把式(6)带入式(4)中，得到：$\tilde{t}\left(p\right)=1-\underset{y\in \Omega \left(p\right)}{\min }\left(\underset{c}{\min }\frac{I_c\left(y\right)}{A_c}\right)---\left(7\right)$这就是透射率t～(p)的预估值；该值是一个暗通道图像块中的透射率值，最后计算所有图像块透射率的均值就可以得到整幅图像的透射率分布均值T；(b)获取恒定的初始透射率校正值X初始透射率校正值X综合考虑原图像中的对比度C和雾霾影响标志值T，根据T*C的取值范围可以分阶段确定一个恒定的X，如表1所示；表1 分阶段初始透射率校正值的计算T*C的范围梯度恒定XT*C<100.510<＝T*C<150.615<＝T*C<200.720<＝T*C<250.825<＝T*C<300.9T*C>＝301初始透射率值为T*X，在后续步骤，进行透射率估计时，以T*X作为固定范围的起始值；(c)同时考虑信息丢失和图像对比度增强的的透射率估计自适应透射率估计方法根据透射率局部一致的假设，以32*32大小的子块为单位，设定同一子块内的透射率值一致；一般情况下，被雾霾影响的图像子块的对比度会降低，为了更好地达到去雾效果，需要增加图像子块的对比度，因此可以通过使还原后的图像块具备最大的对比度来获得最优的透射率估计值；图像对比度评估采用均方误差(Mean squared error，MSE)对比度C_MSE，其数学表达式如下：$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\Sigma }}\frac{{(J_c\left(p\right)-\overline{J_c})}^2}{N}---\left(8\right)$其中J_c表示每一个色彩通道的图像块，c∈{r,g,b}；是图像块像素的均值，N是图像块的像素总数；将公式(8)代入公式(1)，并变形可得：$C_{\mathrm{MSE}}=\underset{p=1}{\overset{N}{\Sigma }}\frac{{(I_c\left(p\right)-\overline{I_c})}^2}{t^{2}N}---\left(9\right)$在上式中，就是输入的原图像块的像素均值；均方误差对比度C_MSE随着t值的增加而递减，即还原后的图像对比度会随着透射率估计值的减小而增强；因此，为了使还原后的图像块具有更高的对比度，透射率t要取尽量小的值；但是，t的取值会影响到计算出的还原图像的像素值，如果还原后的像素值在[0,255]的区间范围外，则会产生信息丢失，影响图像的还原质量；根据公式(1)的属性，为了避免图像信息丢失，使更大范围内的输入像素值可以被有效还原，需要取较大的t值；因此，本发明引入了对比度评价值E_contrast和信息丢失评价值E_loss，并将以上两个评价值整合成一个代价值E，使E值最小的t^*就是每一个图像块最优的透射率值；$E_{\mathrm{contrast}}=-\underset{c\in \{r,g,b\}}{\Sigma }\underset{p\in B}{\Sigma }\frac{(J_c\left(p\right)-\overline{J_c})}{N_B}=-\underset{c\in \{r,g,b\}}{\Sigma }\underset{p\in B}{\Sigma }\frac{(I_c\left(p\right)-\overline{I_c})}{N_B}---\left(10\right)$$E_{\mathrm{loss}}=\underset{c\in \{r,g,b\}}{\Sigma }\underset{p\in B}{\Sigma }\{{\left(\min \right\{0,J_c\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_c\left(p\right)\left\}\right)}^2\}---\left(11\right)$E＝E_contrast+λ_LE_loss(12)上式中，和分别是还原图像和原图像中对应块B的像素值均值，N_B是图像块B的像素数量；min{0,J_c(p)}和max{0,J_c(p)‑255}分别表示超过区间[0,255]的像素值之和；λ_L用来调节对比度评价值和信息丢失评价值的重要度，即平衡对比度和信息丢失的情况；根据以上的公式，以初始透射率值为起始值在一个区间范围内寻找最优的透射率值t^*使E最小化，该t^*值就是每一个图像块最优的透射率值；(d)基于导向滤波的透射率分布优化由于之前的算法中假设图像块内的透射率局部一致，所以透射率估计都是以图像块的形式进行操作，所获得的透射率分布图也存在明显的块状结构，从而导致还原后的图像存在块状的锯齿边缘；因此，本发明采用基于导向滤波的方法优化存在块状结构的透射率分布图；导向滤波的基本公式如下：$\hat{t}\left(q\right)=s^{T}I\left(q\right)+\psi ---\left(13\right)$其中，是滤波后的透射率，I(q)是导向图，我们用待去雾的图像作为导向图；s^T＝(s_r,s_g,s_b)^T是缩放向量，ψ是偏移量；计算透射率时设定一个尺寸为41*41的窗口，对于一个窗口W，通过最小二乘法，使块状透射率值t^*和滤波后的透射率之间的差别最小，这样就能获得一个最佳的缩放向量s^*和一个最佳的偏移量ψ^*值；$(s^{*},{\psi }^{*})=\underset{t}{\arg \min }(s,\psi )\underset{q\in W}{\Sigma }{(t\left(q\right)-\hat{t}\left(q\right))}^2---\left(14\right)$当透射率较小时，会增强还原后的图像的噪音，因此，实现算法时可以将透射率值的最小下限定为0.1；步骤6、利用上述步骤求得的大气光强和透射率分布值，对车道空间区域部分的原图像像素值在模型(1)下求解，还原出车道部分的无雾图像；已求出大气光强、透射率值后，通过求解模型(1)可以获得还原出去雾后的图像；并采用伽马校正方法对还原后的图像进行灰度校正，避免还原后的图像出现比原图像更深的值；在图像还原过程中，只需要对车道空间区域部分的像素进行还原计算；为了有很好的视觉效果，可以完整还原时间片初始帧，将该帧的背景替换到后续帧中，从而避免有明显的车道区域分界线。