动态前景分离的大幅面视频拼接方法

摘要

动态前景分离的大幅面视频拼接方法，涉及视频拼接、全景视频领域。该方法是采用多台位置和拍摄角相对固定且相同的摄像机拍摄获取视频数据，再由计算机系统按顺序读入这些视频序列，并对这些视频序列依次进行几何校正、前景提取，然后分别对前景和背景视频序列进行匹配和变换，得到拼接后的前景和背景视频，最后将拼接后的前景和背景视频融合得到最终的视频拼接结果。在本发明中所使用的摄像机的摆放位置可根据拍摄环境而调整，摄像机的数目可为2个或2个以上。本发明所提供的方法通过分离前景并在重叠区域重新选择将要保留的单方数据，从而避免了鬼影的产生。实验证明该方法既保证了视频的质量同时也提高了拼接算法的速度。

主权项

1、动态前景分离的大幅面视频拼接方法，是采用多台相同且拍摄角度固定的摄像机获取视频数据，再由计算机系统按顺序读入这些视频序列，并对这些视频序列依次进行几何校正、前景提取，然后分别对前景和背景视频序列进行匹配和变换，得到拼接后的前景和背景视频，最后将拼接后的前景和背景视频融合得到最终的视频拼接结果，其特征在于具体包括如下步骤：(1)采用多台相同的摄像机拍摄获取视频数据，相邻摄像机的拍摄区域相互重叠，且相对位置和拍摄角度保持不变；(2)计算机程序依自左到右的视场顺序从摄像机读入视频序列；(3)依据摄像机的焦距对视频进行几何校正；假设没有畸变的图像由函数f_u(x_u，y_u)表示，有畸变的图像由函数f_d(x_d，y_d)表示；则两函数之间的关系可以由以下两式表示：x_d＝x_u(1+k₁r²)y_d＝y_u(1+k₂r²)其中，r²＝x_u²+y_u²，k₁，k₂为控制图像畸变程度的系数；(4)利用平均法建立视频的静态背景，其方法如下：${\bar{I}}_B(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{I}_i(x,y)$其中，I_B(x，y)为最终求得的背景图像，I_i(x，y)为视频帧图像，N为视频帧数；(5)利用背景减除法提取前景，依据背景帧的平均灰度值I_B，设定两个自适应的阈值k₁，k₂：k₁＝k₂/I_Bk₂＝0.2*(I_B-20)+10对视频的每帧图像I_i(x，y)求其中的每个像素所对应的差值g₁，g₂值，$g_1(x,y)=|\frac{{\bar{I}}_B}{{\bar{I}}_i}\frac{I_i(x,y)}{I_B(x,y)}-1|$g₂(x，y)＝|I_i(x，y)-I_B(x，y)|对于g₁＞k₁或g₂＞k₂者，在前景二值图像中标注为1，其他点为0，由此得到前景二值图像；经图像形态学方法处理后，寻找连通区域并求取运动物体中心Centre：$\mathrm{Centre}(x,y)=(\frac{\underset{i=0}{\overset{M}{\Sigma }}{x}_i}{M},\frac{\underset{i=0}{\overset{M}{\Sigma }}{y}_i}{M})$其中，M是前景目标的像素个数，(x_i，y_i)是前景的坐标；(6)对背景视频的配准处理，又具体包括以下三个步骤：(a)使用Harris角点检测的方法提取图像中物体的角点作为特征点：首先把彩色图像转换为灰度图像，在高斯窗内计算图像x轴方向和y轴方向的一阶偏导数f_x和f_y，然后使用以下公式计算C矩阵：$C=G\left(\sigma \right)\otimes \left[\begin{array}{cc}{f}_x^2& f_x{f}_y\\ f_x{f}_y& f_y^2\end{array}\right]$其中，G(σ)为高斯窗函数；然后利用“角”函数R来判定图像中物体的特征点：R＝Det(C)-αTr²(C)  0.04≤α≤0.06其中，α为特征值修正系数，一般取0.04-0.06之间；当某像素点的R值大于设定的某一阈值T(T＞0)时，该点就是检测出的特征点；(b)NCC相关点匹配：使用NCC相关性算法计算图像间特征点的相关性，得到成对的相关特征点；NCC相关性计算公式如下：$\mathrm{NCC}(I_1,I_2)=\frac{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j--N}{\overset{N}{\Sigma }}(I_1(x-i,y-j)-\overline{I_1})(I_2(x-i,y-j)-\overline{I_2})}{\sqrt{\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{(I_1(x-i,y-j)-\overline{I_1})}^2\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{\left(I_2(x-i,y-j)\overline{I_2}\right)}^2}}$其中：I₁和I₂为两幅同时刻视频帧的像素值；$\overline{I_1}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_1(x-i,y-j),$$\overline{I_2}=\frac{1}{N}\underset{i=-N}{\overset{N}{\Sigma }}\underset{j=-N}{\overset{N}{\Sigma }}{I}_2(x-i,y-j),$分别为图像I₁和I₂以(x，y)为中心的2N×2N图像窗内的像素均值，(x-i，y-j)为图像I₁和I₂中像素坐标，N∈(3，11)；将NCC的相似度值归一化在[-1，1]范围内；(c)RANSAC提纯处理：使用RANSAC方法采用抽样的方式提取四对相关的特征点计算图像变换矩阵，然后把图像I₂的所有特征点坐标变换到图像I₁的坐标系中，计算其与图像I₁中对应相关点的坐标误差值，即两点间距离；如果小于门限值M，则认为这一对相关点是匹配的特征点，即线内点；按照如上方法继续抽样、计算线内点，直到线内点数量不再增加或者抽样计算达到N次则终止抽样；(7)利用图像间成对的匹配特征点计算八变量投影变换矩阵，使图像按匹配位置拼合到同一图像空间中；变换公式如下：$\hat{X}=\mathrm{HX}=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& 1\end{array}\right]X$其中，H是投影变换矩阵，它是自相关的，h₀₀、h₀₁、h₀₂、h₁₀、h₁₁、h₁₂、h₂₀、h₂₁为八个所求变量，X＝[x，y，1]^T为图像变换前原始输入图像的坐标，$\hat{X}={[\hat{x},\hat{y},1]}^T$为经投影变换后图像坐标；变换结果的自相关坐标必须归一化以得到非相关的结果X′＝[x′y′1]^T：$x^{\prime }=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+1},$$y^{\prime }=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x{+h}_{21}y+1}$其中，x，y为原始图像坐标，x′，y′为变换后图像坐标；由此得出四对特征点对依据下公式可以求出变换矩阵H，但是在实际操作中利用所有匹配的特征点，使用L-M算法迭代求得精确的变换矩阵；(8)背景图像变换至同一平面，达到背景的拼接；并在重叠区域进行亮度融合，其融合函数如下：$C\left(x\right)=\frac{{\Sigma }_{k}w\left(d\left(x\right)\right)I_k\left(x\right)}{{\Sigma }_{k}w\left(d\left(x\right)\right)}$其中，w是单调函数，一般取w(x)＝x，d(x)为图像I_k(k＝1，2，3…)中融合点(x，y)与融合范围边界在x轴上的距离，I_k(x)为融合点的像素值，C(x)为融合后的像素值；最终得到静态视频帧序列；(9)利用步骤(7)中的投影变换矩阵H及步骤(5)的动态前景特征，匹配识别重叠区域内的动态前景，确定动态前景在相邻视频中的一致关系，将动态前景补回到静态背景视频中；由前面所得到的变换矩阵确定重叠区域范围，进而根据前景的中心、左右极点判断前景是否在重叠区域内；若在重叠区域内，则要判断其与另一视频中相关帧的运动前景是否为同一物体，取一而避免因拍摄角度不同所产生的鬼影现象；判断依据如公式：利用两视频间的变换关系，将两运动前景变换至同一坐标下，判断其重叠面积大于较小目标面积大小的k倍；满足条件则确认为同一目标，保留面积较大者；判断规则如下：S_c1∩S_c2＞k*S_min其中，S_c1与S_c2分别代表两视频中前景目标的面积，S_min是S_c1、S_c2中较小的一个；(10)融合前景和背景视频，并输出视频拼接结果。