动态遮挡图像的实时补偿和增强方法

摘要

本发明提供一种动态遮挡图像的实时补偿和增强方法，解决动态遮挡图像的实时补偿和增强问题，改善动态遮挡图像的质量。技术方案是基于摄像机输出的视频图像，首先采用稳健的方法估计出相邻两帧图像之间的运动矢量，然后将运动补偿与象素灰度值的时域Kalman滤波技术结合起来，对所有像素进行时域滤波处理以补偿动态遮挡区域的图像信息，最后对补偿图像进行自适应灰度展宽和边缘增强处理。

主权项

1.动态遮挡图像的实时补偿和增强方法，包括下述步骤：设含有动态遮挡的图像序列记为f^k(i，j)，k＝1，2，...，K，并当k≥2帧开始采用下述步骤进行实时补偿和增强：第一步，运动矢量的估计；将连续两帧数字图像记为f^k-1(i，j)和f^k(i，j)；第①步，计算连续两帧图像的梯度幅度，计算得到f^k(i，j)和f^k-1(i，j)的梯度幅度图像，分别记为g^k(i，j)和g^k-1(i，j)；第②步，计算梯度幅度图像的投影直方图，设g^k(i，j)的行、列投影直方图分别为h^k(i)、w^k(j)，g^k-1(i，j)的行、列投影直方图分别为h^k-1(i)、w^k-1(j)，其中i＝0，1，...，I-1，j＝0，1，...，J-1，I和J分别为图像的高度和宽度；第③步，计算行、列投影直方图的相关系数，设行投影直方图h^k(i)和h^k-1(i)的相关系数为，则：$R_y^k\left(\mathrm{\Delta y}\right)=\underset{i=0}{\overset{I-1}{\Sigma }}|h^k\left(i\right)-h^{k-1}(i-\mathrm{\Delta y})|,$Δy∈[-M，M]并且Δy∈Z      (公式一)设列投影直方图w^k(j)和w^k-1(j)的相关系数为，则：$R_x^k\left(\mathrm{\Delta x}\right)=\underset{j=0}{\overset{J-1}{\Sigma }}|w^k\left(j\right)-w^{k-1}(j-\mathrm{\Delta x})|,$Δx∈[-M，M]并且Δx∈Z      (公式二)其中的M为相邻图像帧间的最大平移量，根据摄像机的运动情况设定，Z表示所有整数组成的集合；第④步，计算运动矢量，根据相关系数和得到图像f^k(i，j)和f^k-1(i，j)之间的运动矢量(ΔX^k，ΔY^k)，采用下面的公式：$\left\{\begin{array}{c}{\mathrm{\Delta X}}^k=\arg \underset{\mathrm{\Delta x}}{\min }\left[R_x^k\left(\mathrm{\Delta x}\right)\right]\\ {\mathrm{\Delta Y}}^k=\arg \underset{\mathrm{\Delta y}}{\min }\left[R_y^k\left(\mathrm{\Delta y}\right)\right]\end{array}\right.$       (公式三)第二步，动态遮挡图像的补偿；第1步，补偿算法初始化，如果k＝2，就对补偿算法进行初始化，具体方法是：假设系统噪声w(k)和测量噪声v(k)都是零均值的高斯白噪声，噪声方差分别为和；令并根据光学系统特性和问题的具体情况设置滤波协方差系数p(k-1|k-1)的初值；如果k＞2，则不做任何处理，直接进入第2步；第2步，对图像f^k(i，j)的所有象素(i，j)，0≤i＜I，0≤j＜J，进行Kalman滤波，具体包括以下步骤：第1)步，根据象素(i，j)第k-1帧的滤波值计算其第k帧的预测值采用下面的公式：${\hat{f}}^k(i,j)={\tilde{f}}^{k-1}(i,j)$(公式六)第2)步，计算预测协方差系数p(k|k-1)：$p\left(k\right|k-1)=p(k-1|k-1)+{\sigma }_w^2$(公式七)第3)步，计算Kalman滤波增益：$K\left(k\right)=\frac{p\left(k\right|k-1)}{p\left(k\right|k-1)+{\sigma }_v^2}$(公式八)第4)步，计算象素(i，j)在第k帧的滤波值${\tilde{f}}^k(i,j)={\hat{f}}^k(i,j)+K\left(k\right)[f^k(i,j)-{\hat{f}}^k(i,j)]$(公式九)第5)步，计算滤波协方差系数p(k|k)：$p\left(k\right|k)=\frac{{\sigma }_v^2}{p\left(k\right|k-1)+{\sigma }_v^2}·p\left(k\right|k-1)$(公式十)第6)步，令k＝k+1，返回第1)步，直到k＝K时结束；第三步，图像的自适应灰度展宽和边缘增强；第①步，图像的自适应灰度展宽，首先求补偿图像的归一化直方图，记为h(l)，l＝0，1，...，255，并设定较小的比例因子α＝0.05；然后根据α和直方图h(l)确定灰阶L和H，采用下列公式：$\underset{l=0}{\overset{L}{\Sigma }}h\left(l\right)=\alpha ;\underset{l=H}{\overset{255}{\Sigma }}h\left(l\right)=\alpha$(公式十一)最后根据灰阶L和H对图像进行灰度展宽，展宽之后的图像记为b^k(i，j)，采用下式计算：$b^k(i,j)=255\times \frac{{\tilde{f}}^k(i,j)-L}{H-L}$(公式十二)第②步，图像的边缘增强，采用下面的5×5卷积模板t(i，j)，i＝-2，-1，0，1，2，j＝-2，-1，0，1，2，卷积模板的取值为：，t(-2，-2)＝-1，t(-2，-1)＝-2，t(-2，0)＝-3，t(-2，1)＝-2，t(-2，2)＝-1，t(-1，-2)＝-2，t(-1，-1)＝6，t(-1，0)＝4，t(-1，1)＝6，t(-1，2)＝-2，t(0，-2)＝-3，t(0，-1)＝4，t(0，0)＝1，t(0，1)＝4，t(0，2)＝-3，t(1，-2)＝-2，t(1，-1)＝6，t(1，0)＝4，t(1，1)＝6，t(1，2)＝-2，t(2，-2)＝-1，t(2，-1)＝-2，t(2，0)＝-3，t(2，1)＝-2，t(2，2)＝-1，计算边缘增强后的图像p^k(i，j)：$p^k(i,j)=b^k(i,j)\otimes t(i,j)$       (公式十三)其中“”表示图像与模板的二维卷积运算。