一种快速高效的视频稳定方法

摘要

本发明提出了一种快速高效的视频稳定方法，通过一种改进的粒子滤波方法对运动模型的参数进行精确估计，对每个粒子进行操作时，采用了三对图像进行计算，因此每个粒子能够提高更多的信息，本发明方法在不需要太多数目粒子的条件下依然可以达到很好的计算精度。本发明提出的方法复杂度小，实时性强，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

主权项

一种快速高效的视频稳定方法，其特征在于，包括以下步骤：(1)对于视频序列图像{P_n(x,y)|n＝1,2,…N}，采用下述运动模型表示视频序列图像中相邻两帧图像的映射关系：$\left[\begin{array}{c}{x}_{n+1}\\ y_{n+1}\end{array}\right]=\left[\begin{array}{cc}{\mathrm{cos\theta }}_n& -{\mathrm{sin\theta }}_n\\ {\mathrm{sin\theta }}_n& {\mathrm{cos\theta }}_n\end{array}\right]\left[\begin{array}{c}{x}_n\\ y_n\end{array}\right]+\left[\begin{array}{c}{\mathrm{Tx}}_n\\ {\mathrm{Ty}}_n\end{array}\right]---\left(1\right)$其中(x_n,y_n)表示第n帧的一个像素点所在的位置坐标，(x_n+1,y_n+1)是其对应的第n+1帧的像素点所在的位置坐标，θ_n是旋转角度，(Tx_n,Ty_n)为运动补偿参数；(2)求解相邻两帧图像的运动模型，也即求解公式(1)中的3个参数(θ_n,Tx_n,Ty_n)；2.1选取粒子数量M，每个粒子都有3个参数和一个权重其中标号m∈{1,…,M}表示粒子的序号；首先给每个粒子的权重赋初值，初始权重设为1/M；然后对粒子的三个参数进行初始化：$\left\{\begin{array}{c}{\theta }_n^m={\mathrm{\beta ϵ}}_1\\ {\mathrm{Tx}}_n^m={\mathrm{\alpha ϵ}}_2\\ {\mathrm{Ty}}_n^m={\mathrm{\alpha ϵ}}_3\end{array}\right.---\left(2\right)$其中ε₁,ε₂,ε₃均为[‑1,1]内的随机数，β是一个常数，表示单帧旋转角度范围，α是一个常数，表示单帧补偿范围；2.2对每个粒子进行观测，计算每个粒子所代表的可能状态和真实状态之间的相似度，根据相似度计算每个粒子的观测概率密度，然后根据该密度计算出新的权重；任取M个粒子中一个粒子计算其相似度和权重的方法如下：2.2.1从第n帧图像里面随机选择3幅大小为50×50的子图像{H_i(x,y)|i＝1,2,3}，然后计算每个子图像{H_i(x,y)|i＝1,2,3}在第n+1帧对应的子图像，记为{Q_i(x,y)|i＝1,2,3}；2.2.2分别计算三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度，得到三对子图像{H_i(x,y),Q_i(x,y)|i＝1,2,3}的相似度分别为dist₁,dist₂,dist₃，然后进行平均，得到最终的相似度2.2.3根据2.2.4中得到的最终相似度dist计算当前粒子的观测概率密度其中δ是个常数；然后更新当前粒子的权重：${\mathrm{new\omega }}_n^m=PF\times {\omega }_n^m---\left(4\right)$对于所有的M个粒子按步骤2.2.1至2.2.4的方法计算出新的权重，然后再进行归一化得到最终权重2.3根据新的权重对所有粒子的3个参数进行加权求和，即得到相邻两帧图像的映射关系，也即为公式(1)中的3个参数(θ_n,Tx_n,Ty_n)；所有粒子的权重都进行更新后，就可以计算从第n帧图像到第n+1帧图像的映射关系，也即为公式1中的3个参数(θ_n,Tx_n,Ty_n)，3个参数(θ_n,Tx_n,Ty_n)可以由所有粒子的加权和来表示：$\left\{\begin{array}{c}{\theta }_n=\underset{m=1}{\overset{M}{\Sigma }}{\mathrm{new\omega }}_n^m{\theta }_n^m\\ {\mathrm{Tx}}_n=\underset{m=1}{\overset{M}{\Sigma }}{\mathrm{new\omega }}_n^m{\mathrm{Tx}}_n^m\\ {\mathrm{Ty}}_n=\underset{m=1}{\overset{M}{\Sigma }}{\mathrm{new\omega }}_n^m{\mathrm{Ty}}_n^m\end{array}\right.---\left(5\right)$(3)依次对每一帧图像进行视频稳定，获得稳定视频序列图像；从第2帧开始，每一帧都通过步骤2中的方法计算出与之相邻的前一帧对应的运动参数{(θ_n,Tx_n,Ty_n)|n＝1,…,N‑1}；最后根据每一帧的运动参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：$\left\{\begin{array}{c}{\theta }_n^{all}=\underset{j=1}{\overset{n-1}{\Sigma }}{\theta }_j\\ {\mathrm{Tx}}_n^{all}=\underset{j=1}{\overset{n-1}{\Sigma }}{\mathrm{Tx}}_j\\ {\mathrm{Ty}}_n^{all}=\underset{j=1}{\overset{n-1}{\Sigma }}{\mathrm{Ty}}_j\end{array}\right.---\left(6\right)$根据旋转角度对对第n帧图像进行旋转，然后根据对旋转后的图像进行平移，获得稳定视频序列图像。