立体视觉系统的场景深度恢复和三维重建方法

摘要

本发明涉及一种立体视觉系统的场景深度恢复和三维重建方法，通过标定求出左右摄像机的内参数和相对旋转矩阵与平移向量；对左右图像中的对应点进行匹配；对于一对匹配点，由它们的左右图像坐标和相应摄像机内参数求出它们的左右正规化向量；根据左右正规化向量的坐标，以场景点在左右摄像机坐标系中的深度值为参数，求出分别从左摄像机光心至左图像点和从右摄像机光心至右图像点的两条投影线方程；由左右正规化向量和摄像机的相对旋转矩阵与平移向量求出两条投影线的公垂线端点在左右摄像机坐标系中的深度值和三维坐标；从公垂线两个端点的坐标求出公垂线中点的坐标，以该中点坐标作为场景点的三维坐标，完成深度恢复和三维重建。

主权项

1、一种立体视觉系统的场景深度恢复和三维重建方法，其特征在于包括如下具体步骤：1)通过摄像机标定和立体系统标定的方法，求出左右摄像机的内参数和相对旋转矩阵与平移向量；2)对于左右摄像机所摄同一场景的两幅图像，通过对应点匹配的方法，求出左右图像中的对应点；3)对于左右图像中的一对对应点，由它们的左右图像坐标和左右摄像机的内参数求出它们的正规化向量：$N_l=\left[\begin{array}{c}{U}_l\\ V_l\\ 1\end{array}\right]=\left[\begin{array}{c}\frac{u_l-u_{l0}}{{\alpha }_l}\\ \frac{v_l-v_{l0}}{{\beta }_l}\\ 1\end{array}\right];N_r=\left[\begin{array}{c}{U}_r\\ V_r\\ 1\end{array}\right]=\left[\begin{array}{c}\frac{u_r-u_{r0}}{{\alpha }_r}\\ \frac{v_r-v_{r0}}{{\beta }_r}\\ 1\end{array}\right]$ 其中，Nl和Nr分别是左右图像点的正规化向量，(Ul，Vl，1)和(Ur，Vr，1)分别是正规化向量Nl和Nr的坐标，(ul，vl)和(ur，vr)分别是对应图像点的左右图像坐标，αl、βl和αr、βr分别是左右摄像机的主距，而(ul0，vl0)和(ur0，vr0)分别是左右摄像机主点的坐标；4)由对应点左右正规化向量的坐标，以场景点在左右摄像机坐标系中的深度值为参数，分别建立从左摄像机光心至左图像点和从右摄像机光心至右图像点的两条投影线方程：$P_l=\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\end{array}\right]=\left[\begin{array}{c}{U}_l\\ V_l\\ 1\end{array}\right]Z_l;P_r=\left[\begin{array}{c}{X}_r\\ Y_r\\ Z_r\end{array}\right]=\left[\begin{array}{c}{U}_r\\ V_r\\ 1\end{array}\right]Z_r$ 其中，(Xl，Yl，Zl)是左投影线上公垂线端点Pl在左摄像机坐标系中的坐标，(Xr，Yr，Zr)是右投影线上公垂线端点Pr在右摄像机坐标系中的坐标；5)、由左右正规化向量和摄像机的相对旋转矩阵与平移向量求出两条投影线的公垂线端点在左右摄像机坐标系中的深度值和三维坐标：$Z_l=\frac{\left(N_l^T{\mathrm{RN}}_r\right)\left(N_r^T{R}^{T}T\right)-\left(N_l^{T}T\right)\left(N_r^T{N}_r\right)}{{\left(N_l^T{\mathrm{RN}}_r\right)}^2-\left(N_r^T{N}_r\right)\left(N_l^T{N}_l\right)}$ $Z_r=\frac{\left(N_l^T{N}_l\right)\left(N_r^T{R}^{T}T\right)-\left(N_l^{T}T\right)\left(N_l^T{\mathrm{RN}}_r\right)}{{\left(N_l^T{\mathrm{RN}}_r\right)}^2-\left(N_r^T{N}_r\right)\left(N_l^T{N}_l\right)}$ Pl＝ZlNl Pr＝ZrNr 其中，Zl是公垂线与左投影线交点在左摄像机坐标系中的深度值，Zr是公垂线与右投影线交点在右摄像机坐标系中的深度值，R是右摄像机相对于左摄像机的旋转矩阵，T是右摄像机相对于左摄像机的平移向量；6)由公垂线两个端点的坐标求出公垂线中点的坐标：$P_{\mathrm{lmid}}=\frac{P_l+{\mathrm{RP}}_r+T}{2};P_{\mathrm{rmid}}=\frac{P_r+R^T{P}_l-R^{T}T}{2}$ 其中，Plmid为公垂线中点在左摄像机坐标系中的坐标，Prmid为公垂线中点在右摄像机坐标系中的坐标，以Plmid或Prmid作为场景点的三维坐标，完成深度恢复和三维重建。