一种旋转和尺度不变的宽基线立体匹配方法

摘要

本发明涉及一种旋转和尺度不变的宽基线立体匹配方法，包括：S1、对基准图像和参考图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像中的当前像素点，先计算局部几何变换矩阵和初始匹配点，然后选取方形匹配窗口，根据几何变换矩阵得到归一化后的匹配窗口；S3、在参考图像中搜索当前像素点的最佳匹配点，并记录匹配的可信度；S4、重复步骤S2至S3，直至遍历图像的所有像素点，并按照可信度将得到的匹配点分类；S5、输出稠密视差图，显示立体匹配结果。与现有技术相比，本发明能较好地处理存在旋转和尺度变化的宽基线立体图像匹配，得到准确、稠密的视差图，具有鲁棒可靠、匹配精度高、设计简单等特点以及较高的实用价值。

主权项

1.一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：S1、读取待匹配的宽基线立体图像对：基准图像I_l和参考图像I_r，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像I_l中的当前像素点p_l，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点p_l在参考图像I_r中的初始匹配点p_r0，即p_r0＝H*p_l，然后选取方形匹配窗口N_l，根据几何变换矩阵H归一化该窗口，使归一化后的匹配窗口N_r能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中p_l，p_r0是齐次坐标，即p_l＝(x_l，y_l，1)^T，p_r0＝(x_r0，y_r0，1)^T；S3、对基准图像I_l中的像素点p_l，在参考图像I_r中以p_l+d₀为中心选取邻域内的若干个候选匹配点p_r，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价C_WMZNCC(p_l，p_r)，搜索匹配代价最小的候选匹配点p_r作为像素点p_l的最佳匹配点，并记录匹配的可信度S，$S=1-\underset{p_r\in N_{p_{r0}}}{\min }\left(C_{\mathrm{WMZNCC}}(p_l,p_r)\right)$其中，d₀为当前像素点p_l与其初始匹配点p_r0的初始视差，即d₀＝(x_r0-xl，yr0-yl)T，$C_{\mathrm{WMZNCC}}(p_l,p_r)$$=1-\frac{2{\Sigma }_{q_l\in N_l,q_r\in N_r}{w}_l(p_l,q_l)w_r(p_r,q_r)(I_l\left(q_l\right)-\overline{I_l}\left(q_l\right))(I_r\left(q_r\right)-\overline{I_r}\left(q_r\right))}{{\Sigma }_{q_l\in N_l}{w}_l(p_l,q_l)(I_l\left(q_l\right)-\overline{I_l}\left(q_l\right))+{\Sigma }_{q_r\in N_r}{w}_r(p_r,q_r)(I_r\left(q_r\right)-\overline{I_r}\left(q_r\right))}$式中，I_l(q_l)表示图像I_l中位置为q_l的像素点的灰度值，I_r(q_r)表示图像I_r中位置为q_r的像素点的灰度值，是窗口N_l中所有像素点灰度值的均值，是窗口N_r中所有像素点灰度值的均值，权值w_l(p_l，q_l)、w_r(p_r，q_r)由下式给出：$w(p,q)=\exp (-(\frac{{\Delta }_{c_{\mathrm{pq}}}}{{\gamma }_c}+\frac{{\Delta }_{g_{\mathrm{pq}}}}{{\gamma }_p}))$其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γ_c、γ_p是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响；S4、重复步骤S2至S3，直至遍历图像I_l的所有像素点，并按照可信度S将得到的匹配点分为可靠匹配点、不可靠匹配点和遮挡点，即其中S₁为遮挡点阈值，S₂为可靠匹配点阈值；S5、先以不可靠匹配点周围区域内的可靠匹配点作为参考，校正当前像素点的视差，再由遮挡点周围可靠匹配点的视差插值得到该遮挡点的视差，最后输出稠密视差图，显示立体匹配结果。