一种基于立体视觉的实拍低纹理图像重建方法

摘要

一种基于双目立体视觉的实拍低纹理图像重构方法，其实现步骤为：(1)使用两台摄像机从两个合适角度同时各拍摄一幅图像，取其中一幅为基准图像，另外一幅为配准图像；(2)分别对两台摄像机的内、外参数矩阵进行标定；(3)根据标定数据进行对极线校正、图像变换及高斯滤波；(4)为矫正后的两幅图像中每一点计算其自适应多边形支撑窗口，计算像素点的匹配度，得到视差空间图；(5)在全图范围内逐像素执行树形动态规划算法来完成稠密匹配；(6)采用左右一致性准则提取错误匹配点，并进行视差校正得到最终视差图；(7)根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。

主权项

1.一种基于立体视觉的实拍低纹理图像重建方法，其特征在于该重建方法依次含有下列步骤：步骤1：图像获取使用双目摄像机获取图像，首先调整双目摄像机使其光轴基本平行并使左右镜角度处于合适的位置，然后同时各拍摄一幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤2：摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；步骤3：对极线几何校正及图像变换采用步骤2得到的内外参运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；步骤4：计算视差空间图，步骤5：树形动态规划完成稠密匹配：以像素点p_x，y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到p_x，y，从最右边的像素点开始用箭头指向其左边的像素点直到p_x，y，然后在以x为横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到p_x，y，从最下面的相似度开始用箭头指向其上方的像素点直到p_x，y；这样就构造了以像素点p_x，y为根节点的树，在根节点为p_x，y的树上用传统动态规划算法搜索匹配路径来最优化能量函数完成图像对像素点的稠密匹配；式中前一项m(p_x，y，d)表示p_x，y视差为d时的匹配度，由步骤4可得到；后一项是节点p_x，y所有子节点的数据累积代价，其中s(·)代表相邻像素点之间的平滑代价，取为相邻像素点p和q的视差d_p和d_q之差的绝对值，即s(d_p，d_q)＝|d_p-d_q|；sub(p_x，y)表示p_x，y所有相邻子节点集合，即四个前驱节点p_x-1，y，p_x，y-1，p_x+1，y，p_x，y+1，则p_x，y的视差值为步骤6：视差校正步骤6.1：标记视差不可靠点分别以左右图像为基准图像计算视差图D_l，D_r，运用左右一致性准则，将满足|d_l(p)-d_r(q)|≤1的点标记为视差可靠点，并使Dispartiy(p)＝(d_l(p)+d_r(q))/2；否则标记为视差不可靠点，并标记Dispartiy(p)＝0；其中p点为基准图像中像素点，q点为配准图像中p点的匹配点，d_l(p)∈D_l为像素点p点的视差值，d_r(q)∈D_r为像素点q的视差，Dispartiy(p)为p点最终视差值；步骤6.2：填充视差不可靠点将基准图像中坐标(x，y)的视差不可靠像素点p八邻域的像素点标记为Npi，其中(x_i，y_i)为Npi的图像坐标，将Npi的灰度值与p点灰度值相减，得到灰度差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的顺序来依次判断是否存在像素Npi满足如下三个条件(1)Npi为视差可靠点；(2)Np_i∈W_p，其中W_p为步骤4.1中计算得到的p点自适应多边形支撑窗口；(3)|I_l(x_i，y_i)-I_r(x_i+d，y_i)|≤s，其中I_l(·)，I_r(·)表示基准图像和配准图像中像素点的灰度值，d＝d_l(Npi)为Npi的视差值，s为设定的阈值；若存在Npi满足上面三个条件则将p点标记为可靠点，并使Dispartiy(p)＝d_l(Npi)；否则将条件(3)替换为|I_l(x，y)-I_l(x+m，y+n)|≤s重新计算，如果存在Npi满足条件则将p标记为视差可靠点并使视差Dispartiy(p)＝d_l(Npi)；其中m，n∈(-1，0，1)，m，n不同时为0；经过此步骤得到最终的视差图；步骤7：三维信息还原根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤6得到的视差图中匹配点对关系，计算得到图像的三维点云坐标。