一种基于立体视觉的实拍低纹理图像重建方法

摘要

一种基于双目立体视觉的实拍低纹理图像重构方法，其实现步骤为：(1)使用两台摄像机从两个合适角度同时各拍摄一幅图像，取其中一幅为基准图像，另外一幅为配准图像；(2)分别对两台摄像机的内、外参数矩阵进行标定；(3)根据标定数据进行对极线校正、图像变换及高斯滤波；(4)为矫正后的两幅图像中每一点计算其自适应多边形支撑窗口，计算像素点的匹配度，得到视差空间图；(5)在全图范围内逐像素执行树形动态规划算法来完成稠密匹配；(6)采用左右一致性准则提取错误匹配点，并进行视差校正得到最终视差图；(7)根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。

主权项

1.一种基于立体视觉的实拍低纹理图像重建方法，其特征在于该重建方法依次含有下列步骤：步骤1：图像获取使用双目摄像机获取图像，首先调整双目摄像机使其光轴基本平行并使左右镜角度处于合适的位置，然后同时各拍摄一幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤2：摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；步骤3：对极线几何校正及图像变换采用步骤2得到的内外参数矩阵运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对处于同一扫描线上；步骤4：计算视差空间图，步骤5：树形动态规划完成稠密匹配：以像素点p_x，y为基准，用箭头表示一种前驱后继关系，箭头从前驱节点出发指向后继节点；在以y为纵坐标的图像行上从最左边的像素点开始用箭头指向其右边像素点直到p_x，y，从最右边的像素点开始用箭头指向其左边的像素点直到p_x，y，然后在以x为横坐标的图像列上从最上边的像素点开始用箭头指向其下方的像素点直到p_x，y，从最下面的像素点开始用箭头指向其上方的像素点直到p_x，y；这样就构造了以像素点p_x，y为根节点的树，在根节点为p_x，y的树上用传统动态规划算法搜索匹配路径来最优化能量函数$E(p_{x,y},d)=m(p_{x,y},d)+\underset{q\in \mathrm{sub}\left(p_{x,y}\right)}{\Sigma }\underset{i\in D}{\min }(\mathrm{\lambda s}(d,i)+E(q,i))$完成图像对像素点的稠密匹配；式中前一项m(p_x，y，d)表示p_x，y视差为d时的匹配度，由步骤4可得到；后一项是节点p_x，y所有子节点的数据累积代价，其中s(·)代表相邻像素点之间的平滑代价，取为相邻像素点p和q的视差d_p和d_q之差的绝对值，即s(d_p，d_q)＝|d_p-d_q|；sub(p_x，y)表示p_x，y所有相邻子节点集合，即四个前驱节点p_x-1，y，p_x，y-1，p_x+1，y，p_x，y+1，则p_x，y的视差值为d∈D，D＝[d_min，d_max]，其中d_min为最大视差值，d_max为最小视差值，λ为权重系数；步骤6：视差校正步骤6.1：标记视差不可靠点分别以左右图像为基准图像计算视差图D_l，D_r，运用左右一致性准则，将满足|d_l(p)-d_r(q)|≤1的点标记为视差可靠点，并使Dispartiy(p)＝(d_l(p)+d_r(q))/2；否则标记为视差不可靠点，并标记Dispartiy(p)＝0；其中p点为基准图像中像素点，q点为配准图像中p点的匹配点，d_l(p)∈D_l为像素点p点的视差值，d_r(q)∈D_r为像素点q的视差，Dispartiy(p)为p点最终视差值；步骤6.2：填充视差不可靠点将基准图像中坐标(x，y)的视差不可靠像素点p八邻域的像素点标记为Npi，其中(x_i，y_i)为Npi的图像坐标，将Npi的灰度值与p点灰度值相减，得到灰度差值，并将灰度差值按从小到大的顺序排序；按照从灰度差值最小的像素到最大的像素的顺序来依次判断是否存在像素Npi满足如下三个条件(1)Npi为视差可靠点；(2)Npi∈W_p，其中W_p为步骤4.2中计算得到的p点自适应多边形支撑窗口；(3)|I_l(x_i，y_i)-I_r(x_i+d，y_i)|≤s，其中I_l(·)，I_r(·)表示基准图像和配准图像中像素点的灰度值，d＝d_l(Npi)为Npi的视差值，s为设定的阈值；若存在Npi满足上面三个条件则将p点标记为可靠点，并使Dispartiy(p)＝d_l(Npi)；否则将条件(3)替换为|I_l(x，y)-I_l(x+m，y+n)|≤s重新计算，如果存在Npi满足条件则将p标记为视差可靠点并使视差Dispartiy(p)＝d_l(Npi)；其中m，n∈(-1，0，1)，m，n不同时为0；经过此步骤得到最终的视差图；步骤7：三维信息还原根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤6得到的视差图中匹配点对关系，计算得到图像的三维点云坐标；步骤4的计算视差空间图包括以下四个子步骤：步骤4.1：对两幅图像进行高斯滤波，消除噪声影响改善图像质量；步骤4.2：计算自适应多边形匹配窗口任取两幅图像中一幅为基准图像，另一幅为配准图像，对经过步骤3对极线校正变换后得到的图像，通过公式计算基准图像中坐标为(x，y)的任意像素点p的八邻域方向步长h(θ_k)，其中为步长为h_i的像素点与p点的灰度差，为步长为h_i的像素点与p点的空间距离，当满足式时，h(θ_k)＝h_i，a为常系数，τ为阈值，h_i∈{1，2，4，6，12，17}，θ_k为八邻域方向，其中：k＝0，1，2…7；连接p点八邻域步长h(θ_k)的顶点，形成p点的自适应多边形支撑窗口W_p；4.3：计算匹配度步骤4.3包括以下三个子步骤：步骤4.3.1：经过步骤4.2的计算，基准图像中坐标为(x，y)的任意像素点p的自适应多边形支撑窗口为W_p，在配准图像中视差范围D内计算其在对应极线上可能的匹配点q的自适应多边形支撑窗口为W_q；如果基准图像为左图像配准图像为右图像，则q点坐标(x-d，y)，如果基准图像为右图像配准图像为左图像则q点坐标(x+d，y)，其中d ∈D，D＝[d_min，d_max]，d_min为最大视差值，d_max为最小视差值；步骤4.3.2：分别计算像素点p，q的特异性Q(p)，Q(q)，其中w_p＝{(p+d)|d_min-d_max≤d≤d_max-d_min}；f(·)选取对光照及噪声鲁棒性较强的零均值归一化算子，支撑窗口的选取大小及形状与W_p和W_q的交集窗口一致；步骤4.3.3：计算对应像素点p的匹配度，记为m(p，d)，$m(p,d)=\frac{Q\left(p\right)\times Q\left(q\right)}{f(p,q)};$步骤4.4：在基准图像全图范围内重复计算步骤4.1，步骤4.2得到全图像素点在视差范围内的匹配度，得到视差空间图。