一种基于结构张量和卡尔曼滤波的视频去噪方法

摘要

本发明提供了一种基于结构张量和卡尔曼滤波的视频实时去噪方法，包括以下步骤：获取当前时刻待处理图像帧，以及保存的已完成去噪处理的当前帧之前的n帧图像；对当前时刻待处理图像帧采用均值滤波器进行预滤波处理；基于结构张量，充分利用当前时刻待处理图像帧与前面相邻图像帧之间紧密的时空联系，对当前图像帧进行运动估计；基于运动估计结果，采用卡尔曼滤波方法在时域进行降噪处理；采用维纳滤波在空域进行降噪处理；综合两个去噪图像，加权获得最终的去噪图像。本发明通过上述方法能够实现大噪声视频的去噪处理，具有较好的去噪效果，而且由于没有复杂的迭代计算，易于FPGA等硬件实现，进而能够实现大噪声视频的实时去噪。

主权项

一种基于结构张量和卡尔曼滤波的视频实时去噪方法，其特征在于，包括如下步骤：步骤一：获取当前时刻待处理图像帧，以及保存的已完成去噪处理的当前帧之前的n帧图像，n为预先设置的整数值；步骤二：采用均值滤波器对当前时刻待处理图像帧进行预滤波处理；步骤三：针对步骤二预滤波处理后的图像和步骤一保存的已完成去噪处理的当前帧之前的n帧图像，计算每帧图像的结构张量，然后分别计算当前帧图像与之前n帧图像中每一帧图像之间的结构张量距离，再将这n个结构张量距离求平均值，该平均值作为当前时刻待处理图像帧的运动估计值；每帧图像的结构张量采用的是黎曼空间，黎曼空间中线性结构张量的表达式为$J_{{\rho }_2}\left(p\right)=K_{\rho 2}*(▿p_{{\sigma }^{\prime }}\otimes ▿p_{{\sigma }^{\prime }}^T)=K_{\sigma 2}*\left(\begin{array}{cc}{\left(I_x\left(p_{{\sigma }^{\prime }}\right)\right)}^2& I_x\left(p_{{\sigma }^{\prime }}\right)I_y\left(p_{{\sigma }^{\prime }}\right)\\ I_x\left(p_{{\sigma }^{\prime }}\right)I_y\left(p_{{\sigma }^{\prime }}\right)& {\left(I_y\left(p_{{\sigma }^{\prime }}\right)\right)}^2\end{array}\right)---\left(2\right)$其中表示图像梯度算子，p_σ'表示图像p经过方差为σ'的高斯滤波后的输出图像，表示结构张量的积，结构张量乘积的计算可表示为图像在x和y两个方向的梯度I_x(p_σ')，I_y(p_σ')来计算，*表示方差为ρ2的高斯滤波器K_ρ2与结构张量的卷积操作，通常地ρ2>σ'；上述包含图像的结构信息，通过对进行正交分解，得到表示结构张量的大小的特征值λ₁与λ₂，以及表示结构张量的方向的特征向量与结构张量的距离用下式表示$d_{\mathrm{ST}}(p_{\mathrm{current}},p_{\mathrm{past},i})=\sqrt{\mathrm{Trace}\left({(\log \left(J_{{\rho }_2}\left(p_{\mathrm{current}}\right)\right)-\log \left(J_{{\rho }_2}\left(p_{\mathrm{past},i}\right)\right))}^2\right)}---\left(3\right)$其中，Trace(·)表示矩阵的轨迹，log(·)是结构张量的对数操作因子，代表当前含噪帧图像的结构张量，代表当前图像帧之前的图像帧中第(i‑th)帧图像的结构张量，分别计算出当前处理图像帧与之前n帧图像间的结构张量距离，对其求平均值$d_{\mathrm{ST}}=\frac{\underset{i=1}{\overset{n}{\Sigma }}{d}_{\mathrm{ST}}(p_{\mathrm{current}},p_{\mathrm{past},i})}{n}---\left(4\right)$这个平均值代表当前时刻待处理图像帧的运动估计值；步骤四：根据步骤三得到的当前时刻待处理图像帧的运动估计值建立卡尔曼滤波的运动方差矩阵，在时间域上采用卡尔曼滤波方法对当前时刻待处理图像帧进行降噪处理，得到卡尔曼滤波后的去噪图像；步骤五：在空间域上采用维纳滤波器对当前时刻待处理图像帧进行降噪处理，得到维纳滤波后的去噪图像；步骤六：根据步骤三得到的当前时刻待处理图像帧中各像素点的运动估计值计算其高斯权重值，结合步骤四得到的卡尔曼滤波后的去噪图像以及步骤五得到的维纳滤波后的去噪图像，通过加权获得最终的去噪图像，并保存为当前帧已完成去噪处理的图像。