一种针对多视频序列的运动推断结构方法

摘要

本发明公开了一种针对多视频序列的运动推断结构方法。它的步骤如下：1）基于SIFT特征描述量，使用连续特征跟踪算法和非连续特征匹配算法，匹配分布于不同图像上对应于相同场景点的SIFT特征点；2）基于匹配分布于不同图像上对应于相同场景点的SIFT特征点，使用运动推断结构算法，恢复各视频序列相应的子图，并将各视频序列相应的子图注册到统一的坐标系下；3）使用基于分段的渐进式优化算法，迭代地将各视频序列相应的子图中存在的误差扩散并消除。本发明能够高效匹配分布于非相邻子序列中的特征轨迹，改善各子图的求解质量；针对大尺度场景，突破传统求解方法的内存和效率瓶颈，在有限内存环境下对整个场景三维结构和摄像机变量进行全局高效的优化。

主权项

一种针对多视频序列的运动推断结构方法，其特征在于它的步骤如下：1)基于SIFT特征描述量，使用连续特征跟踪算法和非连续特征匹配算法，匹配分布于不同图像上对应于相同场景点的SIFT特征点；2)基于匹配分布于不同图像上对应于相同场景点的SIFT特征点，使用运动推断结构算法，恢复各视频序列相应的子图，并将各视频序列相应的子图注册到统一的坐标系下；3)使用基于分段的渐进式优化算法，迭代地将各视频序列相应的子图中存在的误差扩散并消除；所述的步骤2)为：(2.1)将所有输入视频序列标记为其中N_V为输入视频序列总数，使用运动推断结构算法分别为恢复每帧对应的相机运动参数和每条特征轨迹对应的三维点位置，形成N_V个局部坐标系下的子图，将第j个序列的第k帧在V_j的局部坐标系下的相机运动参数标记为(R_j,k,t_j,k)，其中R_j,k为一个3x3的旋转矩阵，t_j,k为一个3维平移向量，若第i个场景点在V_j中可见，则将第i个场景在V_j的局部坐标系下的坐标标记为X_ij；(2.2)利用序列间匹配点构造匹配图，每个节点表示一个序列，若间存在公共点，则在间添加一条边，用集合表示间的公共点，$S_{j_1{j}_2}=\{(X_{i_1{j}_1},X_{i_1{j}_2}),(X_{i_2{j}_1},X_{i_2{j}_2}),...\},$则连接的边的权值为令v＝0，选择具有最多公共点的序列即为每个序列设置一个状态变量F_j，表示V_j是否注册到全局坐标系，令$F_j=\left\{\begin{array}{c}0,j\ne j_0\\ 1,j=j_0\end{array}\right.;$$\underset{T_S^{j_v}}{\arg \min }\underset{r=0,...,v-1}{\Sigma }\underset{(X_{{\mathrm{ij}}_v},X_{{\mathrm{ij}}_r})\in S_{j_v{j}_r}}{\Sigma }{\left|\right|s^{j_v}{R}_S^{j_v}{X}_{{\mathrm{ij}}_v}+t_S^{j_v}-X_{{\mathrm{ij}}_r}\left|\right|}^2$其中为标量，表示一个尺度因子，为一个3x3的旋转矩阵，为一个3维平移向量，用对作坐标变换，更新中每个相机的运动参数和每个三维点坐标$R_{j_v,k}=R_{j_v,k}{\left(R_S^{j_v}\right)}^T$$t_{j_v,k}=s^{j_v}{t}_{j_v,k}-R_{j_v,k}{t}_S^{j_v}$$X_{{\mathrm{ij}}_v}=s^{j_v}{R}_S^{j_v}{X}_{{\mathrm{ij}}_v}+t_S^{j_v}$令$F_{j_v}=1;$(2.4)重复步骤(2.3)直至v＝N_V‑1，使用LM算法，全局优化所有子图的相似变换$\underset{T_S^1,...,T_S^{N_V}}{\arg \min }\underset{j_1=1,...N_V}{\Sigma }\underset{j_2=j_1,...N_V}{\Sigma }\underset{(X_{{\mathrm{ij}}_1},X_{{\mathrm{ij}}_2})\in S_{j_1{j}_2}}{\Sigma }{\left|\right|(s^{j_1}{R}_S^{j_1}{X}_{{\mathrm{ij}}_1}+t_S^{j_1})-(s^{j_2}{R}_S^{j_2}{X}_{{\mathrm{ij}}_2}+t_S^{j_2})\left|\right|}^2$用每个更新其相应的V_j中每个相机的运动参数(R_jk,t_jk)和每个三维点坐标X_ij：$R_{j,k}=R_{j,k}{\left(R_S^j\right)}^T$$t_{j,k}=s^j{t}_{j,k}-R_{j,k}{t}_S^j;$$X_{\mathrm{ij}}=s^j{R}_S^j{X}_{\mathrm{ij}}+t_S^j$所述的步骤3)为：(3.1)为每个序列V_j的每相邻的k、k+1两帧计算重投影误差：$e^2(k,k+1)=\frac{\underset{i=1}{\overset{N_P}{\Sigma }}{b}_{i,j,k}{b}_{i,j,k+1}({\left|\right|\pi (K_{j,k},R_{j,k},t_{j,k},X_i)-x_{i,j,k}\left|\right|}^2+{\left|\right|\pi (K_{j,k+1},R_{j,k+1},t_{j,k+1},X_i)-x_{i,j,k+1}\left|\right|}^2)}{\underset{i=1}{\overset{N_P}{\Sigma }}{b}_{i,j,k}{b}_{i,j,k+1}}$其中，N_P为场景中三维点的个数，若第i个三维点X_i在V_j的第k帧可见，则b_i,j,k＝1且x_i,j,k为对应的图像特征点的二维图像坐标，否则b_i,j,k＝0，K_j,k为V_j的第k帧对应的相机内参矩阵，π(K,R,t,X)为投影函数，利用相机的内参矩阵K和运动参数(R,t)将三维点X投影为二维图像点x：$x=\left(\begin{array}{c}{f}_x\frac{{(\mathrm{RX}+t)}_{\left[1\right]}}{{(\mathrm{RX}+t)}_{\left[3\right]}}+c_x\\ f_y\frac{{(\mathrm{RX}+t)}_{\left[2\right]}}{{(\mathrm{RX}+t)}_{\left[3\right]}}+c_y\end{array}\right)$这里假设内参矩阵为$K=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right),$下标符号[1]、[2]、[3]分别表示三维向量(RX+t)中的第1、2、3维分量；(3.2)对每个序列V_j，将其头尾两端点和所有e²(k,k+1)＞25的位置都定义为断点，断点将每个序列划分为若干个子序列，再将长度大等于2的子序列一分为二，假设N_V个输入序列被划分N_S个分段，为每个分段分配一个刚性变换，标记为其中的第j个分段的刚性变换表示为为一个3x3的旋转矩阵，为一个3维向量，使用集束调整技术求解优化方程：$(T_R^1,...,T_R^{N_S},X_1,...,X_{N_P})\underset{T_R^1,...,T_R^{N_S},X_1,...,X_{N_P}}{\arg \min }\underset{i=1}{\overset{N_P}{\Sigma }}\underset{j=1}{\overset{N_S}{\Sigma }}\underset{k=1}{\overset{N_F^j}{\Sigma }}{b}_{i,j,k}{\left|\right|\pi (K_{j,k},R_{j,k},t_{j,k},R_R^j{X}_i+t_R^j)-x_{i,j,k}\left|\right|}^2$其中表示第j个分段的帧数，用这N_S个刚性变换更新原序列每帧的相机运动参数：$\begin{array}{c}{R}_{j,k}=R_{j,k}{R}_R^j\\ t_{j,k}=R_{j,k}{t}_R^j+t_{j,k}\end{array};$(3.3)重复步骤(3.1)、步骤(3.2)，直至对于所有序列的所有相邻两帧，均有e²(k,k+1)＜25。