一种基于视点合成的立体图像垂直视差消除方法

摘要

本发明公开了一种基于视点合成的消除立体图像垂直视差的方法。本发明按顺序可以分为四个步骤：（1）对原始立体图像进行传统方式的外极线校正，得到初始校正后的立体图像；（2）对初始校正后的立体图像进行立体匹配，得到对应的水平视差图；（3）根据投影关系，计算得到对应于原始立体图像的水平视差图和垂直视差图；（4）基于原始立体图像的水平视差图和垂直视差图，进行视点合成，得到校正后的立体图像。本发明的主要特点是引入视点合成技术，在消除立体图像的垂直视差的同时，减小校正过程带来的投影失真。

主权项

一种基于视点合成的立体图像垂直视差消除方法，其特征在于，该方法包括以下步骤：(1)采集原始立体图像的左视图I_L和右视图I_R；(2)输入原始立体图像的左视图I_L和右视图I_R，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图I_TL和右视图I_TR，并记录下分别施加在左视图和右视图上变换矩阵T_L和T_R；(3)对经过初始校正后的立体图像左视图I_TL和右视图I_TR进行立体匹配，得到对应的水平视差图D_TL和D_TR；(4)根据投影关系，计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL，以及对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR；(5)基于原立体图像的左右视图I_L和I_R，以及相应的水平和垂直视差图D_HL、D_VL、D_HR、D_VR，进行视点合成，得到新的右视图原始立体图像的左视图I_L和新的右视图已经消除了垂直视差，构成了新的立体图像；所述的步骤(4)中计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL，以及对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR，通过以下步骤来实现：(4.1)对左视图I_L中的任意一点p_L，经过变换T_L得到经过初始校正后的左视图I_TL中的对应点p_TL＝T_L·p_L；点p_TL的坐标值一般为非整数，通过做双线性插值，在视差图D_TL中得到对应于p_TL位置的视差值d_pTL；(4.2)记I_TL中的点p_TL的齐次坐标为p_TL＝[x_TL,y_TL,1]^T，则它在相对应的右视图I_TR中的对应点p_TR为：p_TR＝[x_TL‑d_pTL,y_TL,1]^T；(4.3)将点p_TR经过对应于T_R的逆变换投影回右视图I_R得到点从而建立起了左视图I_L中的点p_L和右视图I_R中的点p_R之间的对应关系，即p_L和p_R是一对匹配点；(4.4)记p_L和p_R的坐标值分别为[x_L,y_L]^T和[x_R,y_R]^T，可以根据下式计算得到对应于p_L的水平视差值d_HL和垂直视差值d_VL：d_HL＝x_L‑x_R，d_VL＝y_L‑y_R；(4.5)对左视图I_L中的每一点施加上述过程，可以得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL；(4.6)同理，对右视图I_R施加上述过程，可以计算得到对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR；所述的步骤(5)中视点合成的方法，包括以下步骤：(5.1)采用反向映射的机制，即对于新的右视图上的每一个点记它的坐标值为根据由I_L和I_R的水平及垂直视差图D_HL、D_VL、D_HR、D_VR所确定的投影关系，分别I_L和I_R上寻找各自的对应点p'_L及p'_R；(5.2)在找到了新的右视图上的点在左右视图上各自的对应点p'_L，p'_R后，比较这二点的水平视差值，将视差值大的点投影得到(5.3)对合成新右视图中空白点进行修补；所述的步骤(5.1)在I_L和I_R上寻找各自的对应点p'_L及p'_R，包括以下步骤：(5.1.1)设点在左视图I_L中的对应点为p'_L，为了达到消除垂直视差的目的，需要以满足水平视差约束为条件，在I_L中进行搜索，记p'_L的坐标值为要求其x轴坐标值须满足下面的关系式：$x_{p_L^{\prime }}=\underset{x_{p_{\tilde{L}}}\in [x_R^{\mathrm{new}}-{\tau }_1,x_R^{\mathrm{new}}+{\tau }_1]}{\arg \min }|x_{p_{\tilde{L}}}-x_R^{\mathrm{new}}-d_{H_{p_{\tilde{L}}}}|$上式中，τ₁为一预设值，表示在I_L上以坐标值为中心沿水平方向的搜索范围，为与I_L对应的水平视差图D_HL中位于坐标处的水平视差值；(5.1.2)设点在右视图I_R中的对应点为p'_R，在垂直视差的约束下，在I_R中进行搜索，记p'_R的坐标值为要求其y轴坐标值须满足下面的关系式：$y_{p_R^{\prime }}=\underset{y_{p\tilde{R}}\in [y_R^{\mathrm{new}}-{\tau }_2,y_R^{\mathrm{new}}+{\tau }_2]}{\arg \min }\left|\right|y_{p\tilde{R}}-y_R^{\mathrm{new}}|-|d_{{\mathrm{Vp}}_{\tilde{R}}}\left|\right|$上式中，τ₂为一预设值，表示在I_R上以坐标值为中心沿垂直方向的搜索范围，为与I_R对应的垂直视差图D_VR中位于坐标处的垂直视差值。