基于极线校正的亚像素级相位立体匹配方法

摘要

本发明属于机器视觉领域，涉及一种基于极线校正的亚像素级相位立体匹配方法，主要针对双目结构投影栅相位法三维测量系统中立体匹配的效率与精度问题，方法通过外极线校正算法将双目立体视觉几何结构校正为平视双目标准几何结构，使匹配点在左右相机上成的像位于同一水平线上，采用双线性内插法获得校正后新相位图的稠密相位值，并提出一种基于相位区域的立体匹配算法，获得初始匹配点，采用基于最小二乘法的曲面拟合将初始匹配点附近3×3邻域内的相似度量拟合为一个二次曲面，然后求解得到该曲面的局部最小值，得到与待匹配点相位相同的右摄像机匹配点坐标，该方法能够快速、准确地实现稠密的立体匹配，满足工业应用的需求。

主权项

一种基于极线校正的亚像素级相位立体匹配方法，包括下列步骤：(1)标定摄像机内外参数；(2)极线校正得到具有标准极线几何结构的立体像对；(3)相位插值得到极线校正后的相位图；(4)亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图；步骤(1)中，建立面阵摄像机的非线性成像几何模型，基于两步法思想对摄像机进行标定，得到内部参数：摄像机的光学和几何参数，以及外部参数：摄像机坐标系和世界坐标系之间的位姿关系；步骤(2)中，为了减小匹配的复杂度，提高匹配的速度和精度，进行极线校正，极线校正就是经过一系列变换把双目立体视觉几何结构校正为平视双目标准几何结构，即左右摄像机的成像平面在同一个平面上且是垂直对齐的；校正后图像对成像坐标系只有平移，所以外极线都平行，任何一对匹配特征点的列坐标差值即为视差，表示物体的深度信息；在平视双目标准几何结构下，重构空间点深度信息较简单；步骤(3)中，经过极线校正后相位图上点的坐标在原始图像上的对应坐标点一般为像素坐标，可以通过双线性内插值法计算出极线校正后的相位图；假设变换后像素的中心位于一个正方形中，此正方形的四个顶点就是与此像素相邻的四个像素的中心点，若极线校正后相位图上任一点P的待求相位为其对应的极线校正前原始相位图上一点为P₀(x₀,y₀)，取P₀临近的4个像素点：P₀₀(x₀₀,y₀₀)，P₀₁(x₀₁,y₀₁)，P₁₀(x₁₀,y₁₀)，P₁₁(x₁₁,y₁₁)；对应的相位值分别为：所以用相应的权重配合这四个灰度值进行插值运算,权重值由P₀与周围4点的距离确定；首先，分别计算转换后的坐标到四个相邻像素中心点的垂直方向和水平方向距离，这些计算出的距离值在0到1之间；然后，根据距离值计算出不同灰度值所占权重后利用双线性内插法获得新相位图上点的相位值：其中，a，b为到输入图像中邻近的像素中心的距离；其特征在于，步骤(4)中，在极线校正后的新相位图像对中，左相位图任一待匹配点的对应匹配点的搜索可简化为在外极线上寻找最相关点；相关点的搜索在极线约束、唯一性约束、相位单调约束、顺序一致性约束的基础上，通过计算待匹配点n邻域相位模板与右相位图像间的相似度来实现：首先根据左摄像机相位图中待匹配点为中心的n邻域相位模板，在右摄像机相位图的中心点横坐标相同的直线上搜索与左图该相位模板相似度最高的区域作为匹配区域，则该区域的中心点为左摄像机相位图中待匹配点的初始匹配点，模板由一幅图像t(r,c)以及相应的待匹配点邻域T指定；然后基于模板范围内灰度值计算一个标量值作为相似度量，相似度量值越小，模板与图像之间的相关性越大；相似度量方法采用计算模板与图像之间差值的绝对值的总和(SAD)，等式为：$sad(r,c)=\frac{1}{n}\underset{(u,v)\in T}{\Sigma }|t(u,v)-f(r+u,c+v)|---\left(2\right)$在式(2)中，n是模板连通区域中点的数量，即n＝|T|，f(r+u,c+v)是模板连通区域移到图像当前位置时连通区域中的灰度值；在上述匹配点搜索过程中，必须对右摄像机相位图横坐标相同的外极线上的平移位置依次计算出相似度量值，为了快速找到匹配点，设置一个自适应阈值t_s作为相似度量值上限，对是否继续计算相似度量值进行判定，减少部分平移位置相似度量值的计算，阈值判定公式如下：$sad(r,c)=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}|t(u_i,v_i)-f(r+u_i,c+v_i)|\le t_s---\left(3\right)$由于相似度量值是求邻域内各点差值绝对值和，假设已经计算得到等式(3)中前j项的总和sad_j'(r,c)，得到等式：${\mathrm{sad}}^{\prime }(r,c)={{\mathrm{sad}}_j}^{\prime }(r,c)+\underset{i=j+1}{\overset{n}{\Sigma }}|t(u_i,v_i)-f(r+u_i,c+v_i)|\le {\mathrm{nt}}_s---\left(4\right)$因此在sad_j'(r,c)≥nt_s的情况下停止计算，计算下一个平移位置的相似度量值；在sad_j'(r,c)＜nt_s的情况下，选择t_s作为当前阈值，自适应阈值t_s的使用减少了相似度量值的计算量；为了得到亚像素精度级的匹配点位置，采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附近3×3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为最优匹配位置坐标；然后，根据邻近点相位进行线性插值，得到与待匹配点相位相同的右摄像机匹配点坐标，完成相位立体匹配；选择如下拟合函数:F(G,X)＝ax²+bxy+cy²+dx+ey+f＝0   (5)其中，G＝[a,b,c,d,e,f]^T，X＝[x²,xy,y²,x,y,1]^T，F(G,X_i)为点(x_i,y_i)到曲线F(G,X)＝0的“代数距离”，采用最小二乘法求解方程，即可解出拟合函数的系数；为此，在式(5)中分别对x，y求偏导，并使偏导为0，即：$\left\{\begin{array}{c}\frac{\partial z}{\partial x}=2ax+c+d=0\\ \frac{\partial z}{\partial y}=2by+cx+e=0\end{array}\right.---\left(6\right)$由式(6)可解得：$x=\frac{2db-ce}{c^2-4ab}$$y=\frac{2ae-ac}{c^2-4ab}$式中的x，y即为所求的平移量且具有亚像级的分辨率。