一种道路场景视频图像序列的背景修复方法

摘要

一种道路场景视频图像序列的背景修复方法，首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；本发明针对运动背景条件下的视频图像序列，基于光流信息实现当前帧缺失前景区域像素到邻近帧背景像素的对应，有效实现道路场景视频图像序列中缺失运动前景区域的图像修复，方法简单有效。

主权项

一种道路场景视频图像序列的背景修复方法，其特征在于：首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；具体包括如下步骤：步骤1：初始化阶段，基于高斯过程回归计算缺失光流图区域中的散点，包括如下步骤：1)数据训练，训练数据集从光流图背景区域以半径R采样，定义为：$T=\left[\begin{array}{ccc}{x}_1,& ...,& x_N\\ y_1,& ...,& y_N\end{array}\right]---\left(1\right)$其中：x₁,...,x_N指N个二维光流图坐标，即横坐标和纵坐标，y₁,...,y_N指N个二维光流图坐标对应的光流值；基于训练数据集，N×N的协方差矩阵K中每个元素定义为[K]_ij＝K(x_i,x_j)，其中：K(x_i,x_j)＝E[(f(x_i)‑m(x_i))(f(x_j)‑m(x_j))]＝E[f(x_i)f(x_j)]    (2)其中：f(x)为x位置处的光流值，E代表期望，m(x)＝E(f(x))＝0；基于光流值，观测向量被定义为y＝[y₁,...,y_N]^T，y视作零均值多变元高斯过程，y的协方差矩阵为：K^*＝K+σ²I    (3)其中：K为训练数据集的协方差矩阵，σ²为正态分布的方差，I为单位矩阵；2)对于待预测散点x^*，其后验密度p(y^*|x^*,T)为单元正态分布，均值为方差为var(y^*)：$\overline{y^{*}}=k^{\prime }{\left(x^{*}\right)}^T{\left(K^{*}\right)}^{-1}y---\left(4\right)$var(y^*)＝K'(x^*,x^*)‑k'(x^*)^T(K^*)^‑1k'(x^*)    (5)其中：k'(x^*)＝[K'(x^*,x₁),...,K'(x^*,x_N)]^T    (6)其中：K'()为高斯ARD核函数，k'()为预测数据集的协方差矩阵，y为观测向量；步骤2：使用三层BP神经网络实现逐列光流预测，其中的数据训练使用了Levenberg‑Marquardt方法，训练数据包括两部分：a、初始化阶段计算所得的缺失光流区域内的散点；b、缺失光流图区域外同一列的背景光流；步骤3：基于高斯混合模型的图像修复：经过了光流修补阶段即步骤1散点的计算和步骤2逐列光流预测，认为缺失前景的光流与背景的光流信息保持一致；对于缺失图像区域内的每一像素x，分别将其对应到临近的k帧，建立随机过程：{s_i:s_i＝I_B(x,i),1≤i≤k}    (7)其中：I_B(x,i)为第i帧对应于x坐标处的颜色值；x坐标处对应颜色值的历史信息由M个高斯分布加以描述，其中观测当前像素值的概率为：$p\left(s_i\right)=\underset{j=1}{\overset{M}{\Sigma }}{\omega }_{j,i}\eta (s_i,{\mu }_{j,i},{\sigma }_{j,i}^2)---\left(8\right)$其中：M为高斯分布的数目，ω_j,i为第i帧中第j个高斯分布的权重，η为对应的高斯概率密度函数，其均值为μ_j,i，方差为每当新的一帧被添加，高斯混合模型都会被更新，当k个邻近帧被比较之后，具有最大权值和最小方差的高斯分布被选取，其均值作为x坐标处的颜色信息。