一种基于区域深度边缘检测和双目立体匹配的三维重建方法

摘要

一种基于区域深度边缘检测和双目立体匹配的三维重建方法，其实现步骤为：(1)贴有标记点的标定板图像由两台黑白摄像机从两个合适角度拍摄。(2)保持拍摄角度不变，使用相同摄像机同时拍摄目标物的两幅图像；(3)根据摄像机的标定数据进行目标物两幅图像的极线校正；(4)在校正后的两幅图像中每一个像素的邻域内搜索一条封闭的区域深度边缘，构成支持窗口；(5)在构造的窗口内，计算支持像素的归一化互相关系数，得到中心像素的匹配代价；(6)利用具备加速更新制度的置信度传播最优化方法获取视差；(7)通过亚像素估计精确视差；(8)根据摄像机的标定数据和像素的匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云，还原目标的三维信息。

主权项

1.一种基于区域深度边缘检测和双目立体匹配的三维重建方法，其特征在于该重建方法依次含有下列步骤：步骤1)摄像机标定：使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置使其光轴近似平行，然后从左右两个角度同时拍摄标定板，接着根据标定板图像，分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；步骤2)目标物图像获取：保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤3)极线校正及图像变换：基于步骤1)中标定过程得到的摄像机内外参数矩阵，运用极线校正方法分别旋转两幅目标物图像，形成平行的极线，然后根据校正后的极线将目标物的原始图像转换成待匹配图像，使两幅待匹配图像中对应的匹配像素具有相同的纵坐标；步骤4)基于区域深度边缘检测构造支持窗口：将待匹配图像中每一个像素p的支持窗口的封闭边界看成一类深度跃变像素的集合，利用二阶微分边缘检测算子从像素p开始，向四周搜寻深度跃变像素作为支持窗口的边界点，连接这些边界点，形成一条虚拟的封闭边缘作为窗口的边界，形成像素p的支持窗口W_p；同理，另一幅待匹配图像中每一个像素q的支持窗口W_q可以按同样的方法构造；步骤5)计算匹配代价，包括以下两个子步骤：步骤5.1：任取两幅经过极线校正的待匹配图像中的一幅为基准图像，另一幅为配准图像；步骤4)得到基准图像中坐标为(x，y)的任意像素p的支持窗口W_p，以及配准图像中p的对应极线上可能的匹配点q的支持窗口W_q，q点坐标为(x+d，y)，其中d∈[d_min d_max]，d_min为最小视差值，d_max为最大视差值；步骤5.2：在基准图像中选取大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口在配准图像中选取大小及形状与支持窗口W_p和W_q的交集窗口一致的窗口根据公式计算支持像素i^l和i^r的归一化互相关系数，作为基准像素p在视差为d时，对应配准像素q的匹配代价，记为Φ(p，d)，I(i^l)和I(i^r)分别为像素i^l和i^r的灰度值；和分别为基准图像和配准图像在交集窗口和内的灰度平均值；步骤6)置信度传播最优化能量函数：在基准图像中迭代传播置信度消息，可以获得整幅图像的能量最优化，采用加速更新制度将置信度消息从一个像素传递给下一个像素：在每一次迭代t时，分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受消息的方向，立即更新该像素的置信度消息；消息传播结束后，计算此时每一个像素p的置信度，选取具有最大置信度的视差值为该像素的视差d_p；步骤6.1：计算像素的平滑代价平滑代价Ψ(s，p)决定了相邻像素p和s对于置信度消息传播的支持度，首先使用公式计算每个像素p和它的右相邻像素和下相邻像素之间的平滑代价Ψ(p，s)，其中，ΔI_ps为像素p和s之间的灰度差值，由ΔI_ps＝|I(s)-I(p)|计算，I(s)和I(p)分别为像素s和p的灰度值；L是一个静态阈值，u和P是平滑补偿项，都为静态常数；d_s为此时像素s的视差值，d为像素p的待匹配视差值；步骤6.2：计算像素的置信度消息在第t次迭代传播置信度消息时，像素s传递给相邻像素p的消息记为包括了像素s的匹配代价Φ(s，d_s)，平滑代价Ψ(s，p)，以及像素s的4邻域中(不包括p)的三个像素在第t-1次迭代时接受的消息：其中，Φ(s，d_s)为像素s在配准图像中的待匹配像素对应于视差值d_s的匹配代价，由步骤5)得到；Ψ(s，p)＝Ψ(p，s)为平滑代价；N(s)/p表示s的相邻像素但不包括p；步骤6.3：计算像素的置信度并获取视差按照消息的加速更新制度，从基准图像的最右像素开始，依次将每一个像素的消息传播给相邻左像素；再从最左像素开始，依次将每一个像素的消息传播给相邻右像素；按此规则再经过下和上两个方向的传播，即完成整幅图像的置信度消息的1次迭代更新；T次迭代更新后，像素p的置信度b_p(d)由计算，Φ(p，d)为像素p的匹配代价，由步骤5得到，为此时相邻像素s传递给像素p的置信度消息，接着计算视差范围内所有视差d∈[d_min d_max]对应的置信度，d_min为最小视差值，d_max为最大视差值，选取具有最大置信度的视差值为像素p的视差d_p，由计算得到；步骤7)视差精确：利用亚像素估计将步骤6)得到的整数视差值转化为小数形式，并获取更精确的亚像素视差Dispartiy(p)，作为像素p的最终视差值，其中，三个离散视差值d_p，d_p+1，d_p-1由步骤6得到，Φ(p，d_p)、Φ(p，d_p+1)和Φ(p，d_p-1)为步骤5得到的匹配代价；步骤8)重建目标物的三维点云：P_L为目标点P在基准图像中对应的像素，P_R为目标点P在配准图像中对应的匹配像素，P_L的坐标为(x_L，y_L)，P_R的坐标为(x_R，y_R)，通过x_R＝x_L+Disparity(P_L)和y_R＝y_L得到，Disparity(P_L)为步骤7)得到的像素P_L的最终视差值，然后根据步骤1)得到的摄像机内外参数矩阵和像素匹配对(P_L，P_R)计算目标点P的三维坐标；计算所有目标点的三维坐标，进而得到整个目标物的三维点云模型和三维信息。