一种基于全局优化的视频稳定方法

摘要

本发明涉及一种基于全局优化的视频稳定方法，包括以下步骤：根据人的视觉主观感受规律推导出稳定视频应具备的空间、时间和保形约束性；使用光流法获得视频中的特征点运动轨迹；根据以上约束限制和特征点运动轨迹建立稀疏线性方程组，并求解得到稳定的视频各帧网格点；根据每一视频帧稳定前后网格点的位置对图像进行扭曲获得稳定的视频图像。与已有的方法相比，该方法将运动建模和运动补偿整合到一个优化过程中，提高了计算效率，节省了计算时间。

主权项

一种基于全局优化的视频稳定方法，其特征在于，包括以下步骤：步骤一、计算特征点轨迹在视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到整个视频中所有特征点的运动轨迹；步骤二、视频帧网格化将视频帧划分为若干正方形区域，并获得网格角点的坐标，其形式化表示为：$\{X_{i,j}^t=(x_{i,j}^t,y_{i,j}^t)\in R^2\},$将稳定后的网格角点形式化表示为：$\{V_{i,j}^t=(u_{i,j}^t,v_{i,j}^t)\in R^2\}$对于某一网格，其形式化表示为：$Q_{i,j}^t=\{V_{i,j}^t,V_{i+1,j}^t,V_{i,j+1}^t,V_{i+1,j+1}^t\}$其中，t表示视频帧索引数，u代表稳定后网格的角点x轴坐标，v代表稳定后网格的角点y轴坐标；步骤三、计算能量函数中的保形项E_sp为了获得与原视频帧尽可能相近的稳定图像，因此在原视频帧网格区域和稳定后的视频帧网格区域之间应保持一个相似变换，从数学的角度看，这种相似扭曲应满足柯西黎曼等式，因此，保形项应定义为：$\begin{array}{c}{E}_{sp}\left(V_{i,j}^t\right)=\underset{t}{\Sigma }\underset{i,j}{\Sigma }{\left(\left|\right|\left(v_{i+1,j}^t-v_{i,j}^t\right)+\left(u_{i,j+1}^t-u_{i,j}^t\right)\left|\right|\right)}^2\\ +\underset{t}{\Sigma }\underset{i,j}{\Sigma }{\left(\left|\right|\left(u_{i+1,j}^t-u_{i,j}^t\right)-\left(v_{i,j+1}^t-v_{i,j}^t\right)\left|\right|\right)}^2\end{array}$步骤四、计算能量函数中的空域约束项E_sc为了获得较佳的视频观看感受，不仅要保持每个网格的形状，还要保持相邻网格之间变换的相似度，避免网格之间出现显著的扭曲，因此将该条件形式化表示为：$\begin{array}{c}{E}_{sc}\left(V_{i,j}^t\right)=\underset{t}{\Sigma }\underset{i,j}{\Sigma }\left|\right|V_{i,j+1}^t-2V_{i,j}^t+V_{i,j-1}^t|{|}^2\\ +\underset{t}{\Sigma }\underset{i,j}{\Sigma }\left|\right|V_{i+1,j}^t-2V_{i,j}^t+V_{i-1,j}^t|{|}^2\\ +\underset{t}{\Sigma }\underset{i,j}{\Sigma }\left|\right|V_{i+1,j+1}^t-V_{i+1,j}^t-V_{i,j+1}^t+V_{i,j}^t|{|}^2\end{array}$步骤五、计算能量函数中的扭曲约束项E_wf为了保证尽量大的图像剪切率，保证保留更多的视觉信息，因此要保证扭曲后的网格点位置尽量与稳定前相近，因此，该条件形式化表示为：$E_{wf}\left(V_{i,j}^t\right)=\underset{t}{\Sigma }\underset{i,j}{\Sigma }\left|\right|V_{i,j}^t-X_{i,j}^t|{|}^2$步骤六、计算能量函数中的时域平滑项E_ts为了获得稳定的摄像机运动轨迹，因此要对带有晃动和抖动的视频轨迹进行平滑，使用普雷斯科特(Hodrick‑Prescott)滤波对轨迹进行平滑处理，为了将特征点轨迹与网格稳定联系起来，使用每个特征点所在网格的四个角点通过均值坐标方法表示该特征点，因此将上述过程形式化表示为：$\begin{array}{c}{E}_{ts}\left(V_{i,j}^t\right)=\underset{t}{\Sigma }\underset{i,j}{\Sigma }\left\{\right||{\mathrm{CV}}_{i,j}^{t+1}-{\mathrm{CV}}_{i,j}^t|{|}^2\\ +\left|\right|{\mathrm{CV}}_{i,j}^{t-1}-2{\mathrm{CV}}_{i,j}^t+{\mathrm{CV}}_{i,j}^{t+1}|{|}^2\\ +\left|\right|{\mathrm{CV}}_{i,j}^{t+2}-3{\mathrm{CV}}_{i,j}^{t+1}+3{\mathrm{CV}}_{i,j}^t-{\mathrm{CV}}_{i,j}^{t-1}\left|{|}^2\right\}\end{array}$其中:$\begin{array}{c}{\mathrm{CV}}_{i,j}^t=C_{i,j}^t{V}_{i,j}^t+C_{i+1,j}^t{V}_{i+1,j}^t\\ +C_{i+1,j+1}^t{V}_{i+1,j+1}^t+C_{i+1,j+1}^t{V}_{i+1,j+1}^t\end{array}$C表示根据均值坐标计算出的各个角点的权重值；$C_{i,j}^t=2\frac{tan({\alpha }_{i,j}/2)+tan({\beta }_{i,j}/2)}{r_{i,j}},$$r_{i,j}=|P_h^t-V_{i,j}^t|,$P_h^t表示第t帧中第h个特征点，其位于由{V^t_i,j,V^t_i+1,j,V^t_i,j+1,V^t_i+1,j+1}组成的网格中，α_i,j,β_i,j分别表示线段P^t_hV^t_i,j与线段P^t_hV^t_i,j+1、P^t_hV^t_i+1,j之间的夹角；步骤七、能量函数优化求解将上述约束条件分别赋予权重，建立用于求解稳定后网格角点位置的能量函数,形式化表示为：$E\left(V_{i,j}^t\right)={\omega }_1·E_{sp}+{\omega }_2·E_{ts}+{\omega }_3·E_{sc}+{\omega }_4·E_{wf}$使用求解稀疏线性方程组的方法求解该能量函数最小化问题，得到稳定后的网格点所在位置V^t_i,j；其中，权重w₂＝10，w₃＝2；对于权重w₁，不同的网格应采用不同的权重，形式化表示为：其中N(Q_i,j)表示该网格中的轨迹点数目；对于权重w₄，不同的网格应采用不同的权重，对于位于视频帧边界的角点，其权重w₄＝2，对于其他角点，其w₄＝1；步骤八、图像扭曲根据稳定前的网格点X^t_i,j和稳定后的网格点V^t_i,j建立单应性变换矩阵，根据矩阵获得稳定后的视频帧数据。